미세조정은 활성화 조향을 되돌리는가? 가중치 편집 역전 없는 행동적 회복
Does Fine-Tuning Undo Activation Steering? Behavioural Recovery Without Weight-Edit Reversal
한국어 초록
활성화 조향(activation steering)은 언어 모델의 가중치에 직접 내장될 수 있어, 추론 시 개입 없이 행동을 형성하며 배포 전 정렬(alignment)을 인코딩하는 방법을 제공한다. 그러나 모델은 배포 후 일상적으로 미세조정되며, 내장된 개입이 이를 견디는지는 알려져 있지 않다. 우리는 비적대적 SFT 및 RLHF 하에서 다섯 개의 인스트럭션 튜닝(instruction-tuned) 모델(3B–14B)에 걸쳐 거부(refusal) 억제와 간결성 유도를 위한 내장 조향의 안정성을 연구한다. 행동적으로, 보존은 학습 데이터를 따른다. 최적화(optimization) 압력이 목표 행동과 상충하면 조향은 약화되고 그렇지 않으면 지속되며, SFT 하에서 거부 절제(ablation)는 평균적으로 효과의 64%를 잃는다. 기제적으로는, 행동이 되돌아가는 경우에도 가중치 편집은 거의 손대지 않은 채 남는다. 평균 벡터 회복은 $ρ= 0.004$이고, 조향 방향을 따른 미세조정 업데이트는 편집 전 가중치 패턴과 거의 직교한다(평균 $\cosθ= 0.074$). 조향된 행동이 약화될 때, 미세조정은 조향 메커니즘 자체를 해체하거나 역전함으로써 이를 달성하지 않는다. 따라서 내장된 조향은 기제적으로는 견고하지만 기능적으로는 취약하며, 하위 학습 이후 행동적 재검증이 필요하다.
원문 초록
Activation steering can be embedded directly into a language model's weights, shaping behaviour without inference-time intervention and offering a way to encode alignment prior to release. However, models are routinely fine-tuned after deployment, and it is unknown whether embedded interventions survive this. We study the stability of embedded steering for refusal suppression and brevity induction across five instruction-tuned models (3B-14B) under non-adversarial SFT and RLHF. Behaviourally, preservation tracks the training data: steering degrades when optimisation pressure contradicts the targeted behaviour and persists otherwise, with refusal ablation losing 64% of its effect on average under SFT. Mechanistically, however, the weight edit survives almost untouched even where behaviour reverts: mean vector recovery is $ρ= 0.004$, and the fine-tuning update along the steering direction is near-orthogonal to its pre-edit weight pattern (mean $\cosθ= 0.074$). When steered behaviour degrades, fine-tuning does not achieve it by dismantling or reversing the steering mechanism itself. Embedded steering is therefore mechanistically durable but functionally vulnerable, and requires behavioural re-validation after downstream training.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.24988v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.