어텐션 잔차를 통한 깊이 인식 활성화 조향
Depth-Aware Activation Steering via Attention Residuals
한국어 초록
활성화 조향은 학습 없이 LLM의 행동을 조절하는 간단한 방법이지만, 기존 방법은 대개 단일 층에 벡터를 주입하며 깊이 인식 전파나 내부 검증을 위한 메커니즘이 부족하다. 본 논문은 학습 가능한 층 간 경로를 제공하는 어텐션 잔차(AttnRes)와 야코비안 렌즈(J-space) 개념 판독이라는 두 최신 아이디어를 결합하여 가벼운 깊이 인식 조향 파이프라인을 구성한다. 두 개의 소형 오픈 모델(Qwen3-0.6B와 Qwen3.5-0.8B)에서, AttnRes 방식의 깊이 가중치에 따라 페르소나 벡터를 분산시키면 단일 층 주입보다 더 강한 내부 정렬(더 깊은 층의 개념 코사인과 순위, p<0.0001)과 더 강한 행동 변화가 나타난다. 이 효과는 부호에 특이적이다. 반대 방향 벡터는 여섯 가지 지표를 모두 반전시키고, 무작위 방향은 정렬을 저하시키며(p<0.0001), 짧은 LoRA 미세 조정은 그 흔적을 지운다. 주입은 주입 지점의 엄밀히 하류에 있는 어텐션만 재배선한다(상류 JS = 0.00000). 이로부터 세 가지 실용적 발견이 도출된다. 첫째, 코사인 판독의 층별 기하학적 분해이다. 주입 층에서는 증가분의 123%가 산술적인 반면, 5~11개 층 하류에서는 100%가 동역학적이다. 둘째, 강도 구간이다. 효과는 0.3~0.7 범위에서 단조적이며, 그 이후에는 생성이 붕괴한다(617자에서 306자, 25자). 셋째, 지표 규율이다. 키워드 규칙 기반 지표는 LLM 판정자 검증에 실패하며(kappa <= 0.09), 두 가지 규칙 기반 결론은 철회되었다. 조향 목적 함수로 깊이 가중치를 학습시키면(200 스텝, 백본 고정) 보류된 프롬프트에서 최종 정렬이 10배 향상된다. 교차 페르소나 벡터는 효과의 96~99%를 유지하며, 특이성은 의미적 방향이 아니라 무작위 방향에 대해서만 성립한다. 본 연구는 신중한 평가 프로토콜을 갖춘 실용적이고 오버헤드가 낮은 깊이 인식 조향 방법을 제시한다. 코드와 데이터를 공개한다.
원문 초록
Activation steering is a simple, training-free way to modulate LLM behavior, yet existing methods typically inject vectors at a single layer and lack mechanisms for depth-aware propagation or internal verification. We combine two recent ideas - Attention Residuals (AttnRes) providing learnable cross-layer pathways, and Jacobian-lens (J-space) concept readout - into a lightweight depth-aware steering pipeline. On two small open models (Qwen3-0.6B and Qwen3.5-0.8B), distributing a persona vector according to AttnRes-style depth weights yields stronger internal alignment (deeper-layer concept cosine and rank, p<0.0001) and stronger behavioral shifts than single-layer injection. The effect is sign-specific: reverse vectors invert all six metrics, random directions degrade alignment (p<0.0001), and a short LoRA fine-tune erases the imprint. Injection rewires attention strictly downstream of the injection point (upstream JS = 0.00000). Three practical findings follow. First, a layer-wise geometric decomposition of cosine readouts: at the injection layer 123% of the increase is arithmetic, while 5-11 layers downstream 100% is dynamical. Second, an intensity window: effects are monotone over 0.3-0.7, then generation collapses (617 to 306 to 25 chars). Third, metric discipline: keyword-rule metrics fail LLM-judge validation (kappa <= 0.09), and two rule-based conclusions were retracted. Training the depth weights on a steering objective (200 steps, frozen backbone) raises final alignment 10x on held-out prompts. Cross-persona vectors retain 96-99% of the effect: specificity holds against random, not semantic, directions. We contribute a practical, low-overhead depth-aware steering method with a careful evaluation protocol. Code and data are released.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21655v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.