arXiv:2609.02089v1 cs.CL

IDEEA: 활성화 클러스터 매칭을 통한 학습 없는 입력 의존적 stEEring

IDEEA: training-free Input-Dependent stEEring via Activation cluster matching

Zheng Wang, Muchen Li, Renjie Liao, Yan Leng

제출 2026-09-02

한국어 초록

스티어링(steering)은 추론 시 선택된 활성화에 바이어스를 주입하여 대규모 언어 모델(LLM)을 정렬(alignment)하는 방법으로, 지도 미세조정이나 강화학습 같은 가중치 갱신 방식보다 훨씬 저렴한 대안을 제공한다. 그러나 기존의 학습 없는 스티어링 방법 대부분은 입력과 무관하다: 하나의 방향을 한 번만 적합(fit)한 뒤 모든 입력에 공통으로 사용한다. 서로 다른 입력은 활성화 공간의 서로 다른 영역을 차지하며, 동일한 목표 개념을 향할 때도 입력마다 최적의 스티어링 방향이 달라질 수 있기 때문에—고정된 손실에 대한 그래디언트가 입력마다 달라지는 것과 유사하게—이는 근본적인 한계다. 본 논문은 IDEEA(Input-Dependent stEEring via Activation cluster matching, 활성화 클러스터 매칭 기반 입력 의존적 stEEring)로 이 간극을 메운다. IDEEA는 어텐션 헤드마다 양·음성 활성화 지지(support)를 클러스터링하고, 최적 매칭 문제를 풀어 목표 개념에 관한 클러스터 조건부 방향들의 집합을 구성한다. 추론 시에는 이 방향 풀에서 입력 자체 활성화와 가장 잘 맞는 하나를 고르해 스티어링에 사용한다. IDEEA는 입력의 원래 표현을 보존하면서 모델을 목표 개념 쪽으로 정렬하며, 이는 개념을 인코딩하는 활성화가 표현 공간의 단일 영역이 아니라 여러 뚜렷한 부분 영역(sub-region)을 차지한다는 증거가 된다. IDEEA는 TruthfulQA에서 truth $\times$ info rate를 최고의 입력 무관 기준선 대비 평균 9.9%(최대 23.5%) 개선한다.

원문 초록

Steering aligns large language models (LLMs) by injecting a bias into selected activations at inference time, offering a far cheaper alternative to weight-update methods such as supervised fine-tuning or reinforcement learning. However, most existing training-free steering methods are input-independent: a single direction is fitted once and shared across all inputs. This is fundamentally limiting as different inputs occupy different regions of the activation space and admit different optimal steering directions toward the same target concept, much as the gradient with respect to a fixed loss varies from input to input. We close this gap with IDEEA (Input-Dependent stEEring via Activation cluster matching), a training-free framework for input-dependent steering. IDEEA clusters the positive and negative activation supports per attention head, and solves an optimal-matching problem to construct a set of cluster-conditional directions, all about the target concept. At inference time, it picks from this pool of directions and uses the one that best matches the input's own activation for steering. IDEEA aligns the model toward the target concept while preserving the input's original representation, evidence that activations encoding a concept occupy several distinct sub-regions of the representation space rather than a single one. IDEEA improves the truth $\times$ info rate in TruthfulQA by an average of 9.9% (up to 23.5%) over the best input-independent baseline.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.02089v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.