가중치는 특징을 읽고 쓴다: 활성화 공간에 기반한 확장 가능한 매개변수 분해
Weights Read and Write Features: Scalable Parameter Decomposition Grounded in Activation Space
활성화 공간(activation space)과 매개변수(parameter) 공간은 모델(model) 연산에 대한 상호보완적인 관점을 제공합니다. 활성화는 정보를 표현하는 반면, 가중치(weight)는 해당 정보를 읽고, 변환하며, 씁니다. 그러나 기존의 해석 가능성(interpretability) 연구 방법들은 대체로 두 공간을 개별적으로 연구하여, 표현된 정보와 매개변수 수준 연산 간의 연결 관계를 충분히 탐구하지 못했습니다. 본 논문에서는 활성화 공간과 매개변수 공간을 결합하여 분해하고, 학습된 각 가중치 컴포넌트를 그것이 읽거나 쓰는 활성화 특징(activation feature)에 그라운딩(grounding)하는 활성화 지원 매개변수 분해(ASPD, Activation-Supported Parameter Decomposition)를 소개합니다. 이러한 그라운딩은 모델의 내부 활성화를 활용하여 본래 비유일(non-unique)할 수 있는 매개변수 분해를 제한하며, 내부 재구성 목표(reconstruction objective)는 분석 대상 가중치 행렬에서 국소적인 학습 신호를 제공합니다. 종합적으로 이러한 특성들은 사전학습된 대규모 언어 모델(LLM)에서 확장 가능하고, 해석 가능하며, 인과적으로 편집 가능한 매개변수 분해를 가능하게 하며, 이는 Qwen-3-8B에서 입증되었습니다. 학습된 읽기-쓰기 컴포넌트는 매개변수 수준의 메커니즘 회로로도 조합될 수 있습니다. 우리는 ASPD를 사용하여 고전적인 IOI 회로의 기반이 되는 메커니즘을 복원하고 모델 가중치를 통한 의미론적 변환을 추적합니다.