마트료시카 어트리뷰션: 언어 모델의 출력을 표현과 가중치에 귀속시키는 학습
Matryoshka attribution: Learning to attribute language model outputs to representations and weights
언어 모델의 출력을 내부 연산에 귀속(attribution)시키는 것은 해석 가능성(interpretability) 분야의 미해결 문제이다. 인과적 개입(causal intervention), 그래디언트, 또는 학습 가능한 마스크를 사용하는 기존 방법들은 비용이 현실적으로 감당하기 어렵거나, 실제로 인과적으로 중요한 내부 연산을 식별하는 데 어려움을 겪는다. 우리는 어트리뷰션을 다운스트림 손실을 최소화하는 내부 구성 요소의 중첩된 부분집합을 식별하는 문제로 정식화할 것을 제안한다. 이 과제를 학습하기 위해, 간단하고 미분 가능한 시그모이드 top-$k$ 연산자로 마스크를 매개변수화하는 마스크 학습 방법인 Matryoshka Attribution(MAttr)을 소개한다. 학습 과정에서 $k$를 무작위로 바꾸어 모든 희소도(sparsity)에 대해 동시에 지도함으로써, 어트리뷰션 점수에 따라 구성 요소를 정렬한 순서를 학습한다. MAttr는 Mechanistic Interpretability Benchmark(Mueller et al., 2025)의 공식 리더보드에서 1위를 차지했으며, 우리의 방법은 다양한 회로 기저(circuit basis)에 걸쳐 희소하고 과제 간 전이 가능한 회로를 식별한다. 실용적인 응용으로서, MAttr를 강화학습으로 학습시켜 LLM 파인튜닝에서 다운스트림 행동의 원인이 되는 가중치 변화를 식별할 수 있음을 보인다. 거절(refusal) 판정 점수를 기반으로 MAttr를 학습시킨 결과, Llama 3.1 8B Instruct 가중치의 $1\%$를 베이스 모델 상태로 되돌리는 것만으로도 성능을 유지하면서 거절 응답을 제거할 수 있음을 확인했다. 우리는 MAttr를 해석 가능성을 경사하강법으로 다룰 수 있는 학습 가능한 목적 함수로 성공적으로 정식화한 사례로 보며, 이러한 방향의 후속 연구를 권장한다.