특징 발견 및 장문맥 귀인을 위한 턴 평균 SAE
Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution
한국어 초록
희소 오토인코더(SAE)는 언어 모델에서 해석 가능한 특징을 추출하는 유용한 도구로 자리잡았다. 그러나 표준 SAE 아키텍처는 개별 토큰 활성화를 기반으로 동작하기 때문에, 활성화되는 특징의 수가 컨텍스트 길이에 선형적으로 비례하여 증가하며, 긴 모델 대화 기록을 분석하기 어렵다. 우리는 턴 평균 SAE를 도입하며, 이는 턴 전반의 평균 모델 활성화를 재구성하도록 학습함으로써 단일 Human 또는 Assistant 턴을 고정된 수의 특징으로 표현한다. 우리는 턴 평균 특징이 대규모 언어 모델(LLM)의 판단 기준으로 볼 때 토큰별 특징보다 단일 턴의 고수준 특성을 더 완전하게 설명함을 발견하였다. 또한 턴 평균 SAE가 귀인 그래프와 같은 SAE의 일반적인 다운스트림 활용을 크게 단순화함을 입증한다. 전반적으로, 턴 평균 SAE는 긴 컨텍스트 길이에서도 해석 가능성 기법을 실용적으로 활용할 수 있게 한다.
원문 초록
Sparse autoencoders (SAEs) have become a useful tool for extracting interpretable features in language models. However, standard SAE architectures operate on individual token activations, meaning that the number of active features scales linearly with context length, and studying long model transcripts becomes difficult. We introduce turn-averaged SAEs, which represent a single Human or Assistant turn with a fixed number of features by learning to reconstruct the average model activation across the turn. We find that turn-averaged features describe a single turn's high-level characteristics more completely than per-token features when judged by an LLM. We also demonstrate that turn-averaged SAEs greatly simplify common downstream uses of SAEs like attribution graphs. Broadly, turn-averaged SAEs make interpretability techniques practical at long context lengths.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.28548v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식
Task Context Shapes Component Roles in Language Models
대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.
가중치는 특징을 읽고 쓴다: 활성화 공간에 기반한 확장 가능한 매개변수 분해
Weights Read and Write Features: Scalable Parameter Decomposition Grounded in Activation Space
활성화 공간(activation space)과 매개변수(parameter) 공간은 모델(model) 연산에 대한 상호보완적인 관점을 제공합니다. 활성화는 정보를 표현하는 반면, 가중치(weight)는 해당 정보를 읽고, 변환하며, 씁니다. 그러나 기존의 해석 가능성(interpretability) 연구 방법들은 대체로 두 공간을 개별적으로 연구하여, 표현된 정보와 매개변수 수준 연산 간의 연결 관계를 충분히 탐구하지 못했습니다. 본 논문에서는 활성화 공간과 매개변수 공간을 결합하여 분해하고, 학습된 각 가중치 컴포넌트를 그것이 읽거나 쓰는 활성화 특징(activation feature)에 그라운딩(grounding)하는 활성화 지원 매개변수 분해(ASPD, Activation-Supported Parameter Decomposition)를 소개합니다. 이러한 그라운딩은 모델의 내부 활성화를 활용하여 본래 비유일(non-unique)할 수 있는 매개변수 분해를 제한하며, 내부 재구성 목표(reconstruction objective)는 분석 대상 가중치 행렬에서 국소적인 학습 신호를 제공합니다. 종합적으로 이러한 특성들은 사전학습된 대규모 언어 모델(LLM)에서 확장 가능하고, 해석 가능하며, 인과적으로 편집 가능한 매개변수 분해를 가능하게 하며, 이는 Qwen-3-8B에서 입증되었습니다. 학습된 읽기-쓰기 컴포넌트는 매개변수 수준의 메커니즘 회로로도 조합될 수 있습니다. 우리는 ASPD를 사용하여 고전적인 IOI 회로의 기반이 되는 메커니즘을 복원하고 모델 가중치를 통한 의미론적 변환을 추적합니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.