arXiv:2602.02343v4 cs.CL

스티어링이 작동하는 이유: 언어 모델 파라미터 동역학의 통합적 관점을 향하여

Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics

Ziwen Xu, Chenyan Wu, Hengyu Sun, Haiwen Hong, Mengru Wang, Yunzhi Yao, Longtao Huang, Hui Xue, Shumin Deng, Zhixuan Chu, Huajun Chen, Ningyu Zhang

제출 2026-11-17

한국어 초록

국소 가중치 미세 조정, LoRA 기반 적응, 활성화 기반 개입을 포함하여 대규모 언어 모델(LLM)을 제어하는 방법들은 흔히 개별적으로 연구되어 서로의 연관성이 가려지고 비교가 어렵다. 본 연구에서는 이러한 개입을 제어 신호에 의해 유도되는 동적 가중치 갱신으로 규정하여 하나의 개념적 틀 안에 놓는 통합적 관점을 제시한다. 이 관점에 기반하여, 우리는 제어 효과를 선호(preference)와 유용성(utility)으로 분리하는 통합 선호-유용성 분석을 제안한다. 여기서 선호는 목표 개념을 향한 경향으로, 유용성은 일관되고 과제에 타당한 생성으로 정의되며, 극성이 짝지어진 대조 예시를 사용해 두 가지를 공통의 로그 오즈 척도에서 측정한다. 여러 방법에 걸쳐 선호와 유용성 사이에 일관된 상충 관계가 관찰되며, 제어를 강하게 할수록 선호는 증가하는 반면 유용성은 예측 가능하게 감소한다. 우리는 이러한 거동을 활성화 매니폴드 관점으로 추가 설명한다. 즉 제어는 표현을 목표 개념 방향으로 이동시켜 선호를 높이고, 유용성은 주로 개입이 표현을 모델의 유효 생성 매니폴드 밖으로 밀어낼 때 감소한다. 마지막으로, 이 분석에 기반하여 선호를 높이면서 유용성을 더 잘 보존하는 새로운 스티어링 방식 SPLIT을 제안한다. 코드는 https://github.com/zjunlp/EasyEdit/blob/main/examples/SPLIT.md 에서 확인할 수 있다.

원문 초록

Methods for controlling large language models (LLMs), including local weight fine-tuning, LoRA-based adaptation, and activation-based interventions, are often studied in isolation, obscuring their connections and making comparison difficult. In this work, we present a unified view that frames these interventions as dynamic weight updates induced by a control signal, placing them within a single conceptual framework. Building on this view, we propose a unified preference-utility analysis that separates control effects into preference, defined as the tendency toward a target concept, and utility, defined as coherent and task-valid generation, and measures both on a shared log-odds scale using polarity-paired contrastive examples. Across methods, we observe a consistent trade-off between preference and utility: stronger control increases preference while predictably reducing utility. We further explain this behavior through an activation manifold perspective, in which control shifts representations along target-concept directions to enhance preference, while utility declines primarily when interventions push representations off the model's valid-generation manifold. Finally, we introduce a new steering approach SPLIT guided by this analysis that improves preference while better preserving utility. Code is available at https://github.com/zjunlp/EasyEdit/blob/main/examples/SPLIT.md.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.02343v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.