arXiv:2606.19831v1 cs.CL

레버리지는 도달 범위가 아니다: 언어 모델에서 단일 뉴런 조향을 위한 제어 창 법칙

Leverage Is Not Reach: A Control-Window Law for Single-Neuron Steering in Language Models

Hongliang Liu

제출 2026-06-18

한국어 초록

정렬된 언어 모델은 거절 및 언어 라우팅과 같은 행동을 희소 피드포워드 뉴런을 통해 게이트(gate)하지만, 단일 뉴런 개입이 출력을 붕괴시키는 대신 행동을 일관되게 제어하는 시점을 예측하는 이론은 없습니다. 우리는 단일 뉴런 조향을 위한 예산 정규화(budget normalized) 제어 창 프레임워크를 개발했습니다. 하나의 쓰기(write) 방향에 대한 투여량(dose)은 하나의 제어 좌표로 축소됩니다: 이는 잔차 스트림(residual stream)과 쓰기 사이의 정렬(alignment)로, 잔차 노름(norm)을 쓰기 노름으로 나누어 설정된 일관성 예산(coherence budget) 단위로 보편적 포화 곡선을 따라 구동됩니다. 행동 트리거(trigger)가 붕괴 천장(collapse ceiling) 아래에 있을 때 일관된 제어가 존재합니다. 동일한 좌표는 양성 모드 전환과 거절을 모두 제어합니다. 천장은 가중치와 하나의 일반적인 순전파(forward pass)에서 도출되는 반면, 트리거는 롤아웃(rollout)에서 측정됩니다. 15개의 홀드아웃(held out) 뉴런에 대해 예측된 천장의 평균 절대 오차는 0.14이며, 대부분의 레이어에서는 약 0.07입니다. 확정된 열림 또는 닫힘 판정은 15개 중 10개의 다수결 기준선(baseline) 대비 11개에서 유지됩니다. 닫힌 사례는 위반보다는 세 가지 실패 모드를 보여줍니다: 트리거 이전의 붕괴, 전파할 깊이가 부족함, 또는 하나의 뉴런이 밀어낼 수 있는 거리를 제한하는 정규화(normalization)입니다. 이 법칙은 지역 그래디언트(gradient) 귀속이 제어를 반대로 예측하는 이유를 설명합니다: 진정한 컨트롤러는 리드아웃 축(readout axis)에서 벗어나 쓰기(write)하며 거의 0에 가까운 1차 그래디언트를 가집니다. 창(window)에 의해 정밀해진 순전파(forward pass) 전용 대비 스크린(screen)은 귀속이 놓치는 컨트롤러를 회복합니다. 가장 어려운 사례인 거절의 경우, 개입 성공은 스칼라가 아닌 유형(typed)입니다: 일관된 우회와 엄격한 실행 가능 도달 범위(actionable reach)가 분리되므로, 뉴런은 실행 가능한 콘텐츠 없이 유창하고 과제에 부합하는 텍스트에서 거절을 뒤집을 수 있으며, 진정한 실행 가능 도달 범위는 감사된 6개의 Llama 피벗(pivot) 중 3개에서만 후기 롤아웃(rollout) 지평에서 나타납니다. 따라서 단일 뉴런 조향은 고정된 투여량(dose)에 대한 일화가 아니라, 제어 가능성에 대한 예산이 책정되고 유형이 부여된 감사(audit)입니다.

원문 초록

Aligned language models gate behaviors such as refusal and language routing through sparse feed forward neurons, yet no theory predicts when a single neuron intervention controls a behavior coherently rather than collapsing the output. We develop a budget normalized control window framework for single neuron steering. A dose along one write direction reduces to one control coordinate: the alignment between the residual stream and the write, driven along a universal saturation curve in units of a coherence budget set by the residual norm divided by the write norm. Coherent control exists when a behavior trigger lies below the collapse ceiling. The same coordinate governs benign mode switches and refusal; the ceiling follows from weights and one generic forward pass, while triggers are measured at rollout. On fifteen held out neurons, the predicted ceiling has mean absolute error 0.14, about 0.07 in bulk layers, and the committed open or closed verdict holds on eleven against a ten of fifteen majority baseline. Closed cases expose three failure modes rather than violations: collapse before trigger, too little depth to propagate, or a normalization that caps how far one neuron can push. The law explains why local gradient attribution anti predicts control: true controllers write off the readout axis and carry a near zero first order gradient. A forward only contrastive screen made precise by the window recovers controllers that attribution misses. On refusal, the hardest case, intervention success is typed, not scalar: coherent bypass and strict actionable reach separate, so a neuron can flip refusal in fluent, on task text with no actionable content, and genuine actionable reach appears only for three of six audited Llama pivots and only at later rollout horizons. Single neuron steering is therefore a budgeted, typed audit of controllability rather than a fixed dose anecdote.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19831v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13895v1cs.CL공통 태그 Large Language Model, mechanistic interpretability

작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식

Task Context Shapes Component Roles in Language Models

대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.

arXiv:2609.37731v2cs.LG공통 태그 Large Language Model, mechanistic interpretability

가중치는 특징을 읽고 쓴다: 활성화 공간에 기반한 확장 가능한 매개변수 분해

Weights Read and Write Features: Scalable Parameter Decomposition Grounded in Activation Space

활성화 공간(activation space)과 매개변수(parameter) 공간은 모델(model) 연산에 대한 상호보완적인 관점을 제공합니다. 활성화는 정보를 표현하는 반면, 가중치(weight)는 해당 정보를 읽고, 변환하며, 씁니다. 그러나 기존의 해석 가능성(interpretability) 연구 방법들은 대체로 두 공간을 개별적으로 연구하여, 표현된 정보와 매개변수 수준 연산 간의 연결 관계를 충분히 탐구하지 못했습니다. 본 논문에서는 활성화 공간과 매개변수 공간을 결합하여 분해하고, 학습된 각 가중치 컴포넌트를 그것이 읽거나 쓰는 활성화 특징(activation feature)에 그라운딩(grounding)하는 활성화 지원 매개변수 분해(ASPD, Activation-Supported Parameter Decomposition)를 소개합니다. 이러한 그라운딩은 모델의 내부 활성화를 활용하여 본래 비유일(non-unique)할 수 있는 매개변수 분해를 제한하며, 내부 재구성 목표(reconstruction objective)는 분석 대상 가중치 행렬에서 국소적인 학습 신호를 제공합니다. 종합적으로 이러한 특성들은 사전학습된 대규모 언어 모델(LLM)에서 확장 가능하고, 해석 가능하며, 인과적으로 편집 가능한 매개변수 분해를 가능하게 하며, 이는 Qwen-3-8B에서 입증되었습니다. 학습된 읽기-쓰기 컴포넌트는 매개변수 수준의 메커니즘 회로로도 조합될 수 있습니다. 우리는 ASPD를 사용하여 고전적인 IOI 회로의 기반이 되는 메커니즘을 복원하고 모델 가중치를 통한 의미론적 변환을 추적합니다.

arXiv:2610.02391v1cs.LG공통 태그 Large Language Model, activation steering

망설임에는 기하학이 있다: 희소 활성화 조향을 위한 엔트로피 학습 쌍곡 프로브

Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering

대규모 언어 모델이 수학 문제를 해결할 때 그 추론은 대체로 계층적이며, 해결 과정은 다음 토큰 엔트로피가 높은 소수의 토큰에서 분기되는 경우가 많습니다. 이러한 트리 형태의 구조는 유클리드 공간보다 왜곡이 훨씬 적게 쌍곡 공간에 임베딩됩니다. 그러나 활성화 조향(activation steering)은 해결 과정의 대부분의 토큰이 이미 문맥에 의해 결정되어 있음에도 불구하고, 모든 토큰에 하나의 고정된 유클리드 벡터를 더함으로써 사전학습된 모델의 은닉 상태를 수정하는 것이 일반적입니다. 본 논문에서는 모델 자체의 다음 토큰 엔트로피만을 레이블로 사용하는 경량 프로브를 통해 은닉 상태를 푸앵카레 볼(Poincaré ball)에 임베딩하는 쌍곡 엔트로피 조향(Hyperbolic Entropy Steering, HEST)을 제안합니다. 이 엔트로피가 임계값을 초과하는 지점에서, HEST는 프로브 판독값의 최급하강 측지선(geodesic of steepest descent)을 따라 임베딩된 상태를 이동시키고 그 변화를 다시 은닉 상태로 매핑합니다. 학습된 이상점(ideal point)의 부제만(Busemann) 판독값에 대해, 고정된 길이의 한 스텝이 모든 상태에서 동일한 양만큼 판독값을 감소시킴을 증명합니다. Qwen2.5-Math 및 Llama-3.1 계열의 인스트럭션 튜닝된 3개 모델에서 부제만 판독값을 적용한 HEST는 6개 설정 중 5개에서 MATH-500 및 GSM8K의 그리디 정확도를 최대 1.8포인트 향상시킨 반면, 모든 토큰에 추가된 대조 조향 벡터는 정확도를 떨어뜨렸습니다. 동일한 방식으로 학습된 유클리드 프로브를 사용했을 때는 Qwen2.5-Math-1.5B-Instruct에서 이러한 성능 향상이 사라졌습니다. 성능 향상은 모델이 자주 망설이는 문제에서 가장 컸으며, 나머지 문제에서의 정확도는 거의 변하지 않았습니다.

arXiv:2610.02975v2cs.AI공통 태그 Large Language Model

불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화

Reliable Self-Evolution with Imperfect Proxy Rewards

대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.

arXiv:2610.13672v2cs.CL공통 태그 Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.02418v2cs.CR공통 태그 Large Language Model

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.