PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.25518v1cs.CL

마트료시카 어트리뷰션: 언어 모델의 출력을 표현과 가중치에 귀속시키는 학습

Matryoshka attribution: Learning to attribute language model outputs to representations and weights

언어 모델의 출력을 내부 연산에 귀속(attribution)시키는 것은 해석 가능성(interpretability) 분야의 미해결 문제이다. 인과적 개입(causal intervention), 그래디언트, 또는 학습 가능한 마스크를 사용하는 기존 방법들은 비용이 현실적으로 감당하기 어렵거나, 실제로 인과적으로 중요한 내부 연산을 식별하는 데 어려움을 겪는다. 우리는 어트리뷰션을 다운스트림 손실을 최소화하는 내부 구성 요소의 중첩된 부분집합을 식별하는 문제로 정식화할 것을 제안한다. 이 과제를 학습하기 위해, 간단하고 미분 가능한 시그모이드 top-$k$ 연산자로 마스크를 매개변수화하는 마스크 학습 방법인 Matryoshka Attribution(MAttr)을 소개한다. 학습 과정에서 $k$를 무작위로 바꾸어 모든 희소도(sparsity)에 대해 동시에 지도함으로써, 어트리뷰션 점수에 따라 구성 요소를 정렬한 순서를 학습한다. MAttr는 Mechanistic Interpretability Benchmark(Mueller et al., 2025)의 공식 리더보드에서 1위를 차지했으며, 우리의 방법은 다양한 회로 기저(circuit basis)에 걸쳐 희소하고 과제 간 전이 가능한 회로를 식별한다. 실용적인 응용으로서, MAttr를 강화학습으로 학습시켜 LLM 파인튜닝에서 다운스트림 행동의 원인이 되는 가중치 변화를 식별할 수 있음을 보인다. 거절(refusal) 판정 점수를 기반으로 MAttr를 학습시킨 결과, Llama 3.1 8B Instruct 가중치의 $1\%$를 베이스 모델 상태로 되돌리는 것만으로도 성능을 유지하면서 거절 응답을 제거할 수 있음을 확인했다. 우리는 MAttr를 해석 가능성을 경사하강법으로 다룰 수 있는 학습 가능한 목적 함수로 성공적으로 정식화한 사례로 보며, 이러한 방향의 후속 연구를 권장한다.

arXiv:2607.20995v1cs.CL

대규모 언어 모델에서 생물성은 어디에 존재하는가: 생물성 개념 회로의 추적

Where Animacy Lives in Large Language Models: Tracing the Circuits of the Animacy Concept

서면 언어에서 animate 개념과 inanimate 개념을 구별하는 것은 얕은 텍스트 처리 이상을 요구한다. 동사-인수 상호작용(verb-argument interactions)과 같은 복잡한 선택 제약(selectional constraints)과 문맥 단서를 인식해야 하기 때문이다. 그럼에도 현재의 대규모 언어 모델(LLM)은 이를 수행할 수 있는 것으로 보인다. 우리는 LLM의 이러한 생물성 민감적 동작이 인과적으로 관련된 국소화된 구성 요소와 연결의 집합으로 추적될 수 있는지 조사한다. 이를 위해 최소 대(minimal pairs)로 구성된 통제된 데이터셋을 구축하고, 네 개의 오픈 가중치(open-weight) 모델에 대해 회로 발견(circuit discovery)을 수행한다. 심층 실험과 ablation을 통해, 이들 모델에서 생물성을 처리하는 인과적 메커니즘이 실제로 존재함을 보이며, 이를 통해 생물성 회로(animacy circuit)를 발견한다. 동시에 이 회로는 다른 알려진 회로들에 비해 덜 국소화된 것으로 나타나며, 모델과 생물성 과제 간에 부분적으로만 일반화되어, 생물성 개념의 분산적·문맥 의존적·다소 등급적(graded) 특성을 확인한다.