liusida.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.11722v1cs.LG

ICA 렌즈: 별도의 사전 학습 없이 언어 모델 해석하기

ICA Lens: Interpreting Language Models Without Training Another Dictionary

언어 모델 표현에서 해석 가능한 방향을 찾는 것은 모델 동작을 이해하고 제어하는 데 중요합니다. 희소 오토인코더(SAE)가 이 목적을 위한 표준 도구가 되었지만, 기본적인 1차 렌즈로 사용하려면 큰 과완전 사전(overcomplete dictionary)을 학습(training), 저장, 평가해야 하는 경우가 많습니다. 이러한 병목 현상은 빠른 탐험(exploration)을 제한하며 근본적인 질문을 제기합니다: 또 다른 신경망 사전을 학습시키기 전에 활성화 기하학(activation geometry)에서 얼마나 많은 해석 가능한 구조가 이미 드러나는가? 우리의 직관은 간단합니다. 많은 해석 가능한 방향은 토큰에 대해 선택적이며, 이러한 방향은 무작위 방향보다 덜 가우시안(Gaussian) 분포를 따릅니다. 따라서 우리는 비가우시안 방향을 찾는 고전적인 방법인 독립 성분 분석(ICA)을 언어 모델 해석 가능성을 위한 간결한 렌즈로 재조명합니다. 연구 결과, ICA는 대규모 언어 모델(LLM) 해석 가능성에 대해 과소평가되어 왔습니다. 이는 이전 사용 사례들이 종종 LLM 활성화에서 취약한 기존 ICA 구현에 의존했고, 복원된 방향을 검사하고 평가하기 위한 체계적인 도구가 부족했기 때문입니다. 이러한 격차를 해소하기 위해 우리는 ICALens를 소개합니다. 이는 LLM 표현에 대한 안정적이고 효율적이며 검증 가능한 ICA 분석을 위한 첫 번째 실용적인 워크플로우입니다. ICALens는 최적화된 GPU 병렬 FastICA 파이프라인을 LLM 특화 안정성 레시피 및 더 나은 적합도 진단과 결합하여, 효율적이고 신뢰할 수 있는 층(layer)별 분석을 가능하게 합니다. GPT-2 Small, Gemma 2 2B, Qwen 3.5 2B Base에 걸쳐, ICALens는 층별 그래디언트(gradient) 기반 사전 학습 없이 간결하고 인간이 해석 가능한 방향을 효율적으로 복원합니다. SAEBench에서 ICA는 희소 프로빙(sparse probing)에서 공개 SAE와 대등한 성능을 보이며, 소규모에서 중규모 예산 하에서 타겟팅된 프로브 섭동(targeted probe perturbation)에서는 이를 능가합니다. 이러한 결과는 ICA가 약한 기준선(baseline)으로 간주되어서는 안 되며, 언어 모델(model) 표현을 탐험하기 위한 효율적이고 상호 보완적인 1차 렌즈로 간주되어야 함을 시사합니다.