PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.37731v2cs.LG

가중치는 특징을 읽고 쓴다: 활성화 공간에 기반한 확장 가능한 매개변수 분해

Weights Read and Write Features: Scalable Parameter Decomposition Grounded in Activation Space

활성화 공간(activation space)과 매개변수(parameter) 공간은 모델(model) 연산에 대한 상호보완적인 관점을 제공합니다. 활성화는 정보를 표현하는 반면, 가중치(weight)는 해당 정보를 읽고, 변환하며, 씁니다. 그러나 기존의 해석 가능성(interpretability) 연구 방법들은 대체로 두 공간을 개별적으로 연구하여, 표현된 정보와 매개변수 수준 연산 간의 연결 관계를 충분히 탐구하지 못했습니다. 본 논문에서는 활성화 공간과 매개변수 공간을 결합하여 분해하고, 학습된 각 가중치 컴포넌트를 그것이 읽거나 쓰는 활성화 특징(activation feature)에 그라운딩(grounding)하는 활성화 지원 매개변수 분해(ASPD, Activation-Supported Parameter Decomposition)를 소개합니다. 이러한 그라운딩은 모델의 내부 활성화를 활용하여 본래 비유일(non-unique)할 수 있는 매개변수 분해를 제한하며, 내부 재구성 목표(reconstruction objective)는 분석 대상 가중치 행렬에서 국소적인 학습 신호를 제공합니다. 종합적으로 이러한 특성들은 사전학습된 대규모 언어 모델(LLM)에서 확장 가능하고, 해석 가능하며, 인과적으로 편집 가능한 매개변수 분해를 가능하게 하며, 이는 Qwen-3-8B에서 입증되었습니다. 학습된 읽기-쓰기 컴포넌트는 매개변수 수준의 메커니즘 회로로도 조합될 수 있습니다. 우리는 ASPD를 사용하여 고전적인 IOI 회로의 기반이 되는 메커니즘을 복원하고 모델 가중치를 통한 의미론적 변환을 추적합니다.

arXiv:2607.13047v1cs.LG

신경망으로부터 가중치 공간 메커니즘의 표적 복원

Targeted Recovery of Weight-Space Mechanisms From Neural Networks

매개변수 분해(PD)는 신경망을 원본 네트워크의 연산을 충실히 반영하는 해석 가능한 계산 구성요소로 분해한다. 그러나 대규모 모델에 PD를 확장하려면 막대한 연산 자원이 필요하여 비용이 크고 위험한 시도가 된다. 본 논문에서는 표적 PD(tPD)를 제안하는데, 이는 비표적 데이터를 모두 처리하는 고랭크(high-rank) 만능(catch-all) 구성요소를 도입함으로써 고립된 프롬프트부터 대규모 하위 과제에 이르는 관심 대상 특정 입력을 처리하는 구성요소만을 식별한다. 우리는 tPD를 toy 모델과 The Pile에서 학습된 트랜스포머 언어 모델에 대해 검증하였으며, 재현 가능하고 메커니즘적으로 충실한 회로를 복원함을 보였다. 4블록 트랜스포머에서 공개된 분해 대비 7%의 FLOP만으로 CSS-only 하위 모델을 추출하였고, 12블록 트랜스포머에서는 암기된 시퀀스를 수술적으로 제거(ablate)하고 재배선(rewire)하여 다른 입력에는 무시할 만한 부작용만을 남겼다.