PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11599v1cs.CL

LLM은 언제 조종 가능한가?

When is Your LLM Steerable?

활성화 스티어링(activation steering)은 추론 시점에 언어 모델의 동작을 제어할 수 있는 가벼운 접근 방식을 제공하지만, 그 성공 여부는 프롬프트, 개념, 모델, 스티어링 구성에 크게 의존합니다. 성공적인 스티어링의 영역(regime)과 경계를 찾는 것은 일반적으로 비용이 많이 드는 그리드 탐색(grid searches)과 전체 자기회귀 롤아웃(autoregressive rollouts)에 대한 사후 평가가 필요합니다. 본 연구에서는 생성 프로세스의 초기, 예를 들어 처음 몇 개의 토큰을 생성한 후 모델의 내부 상태에서 조종 가능성(steerability)을 예측할 수 있는지, 그리고 이러한 예측기를 활용하여 스티어링 성공률을 높이는 방법을 조사합니다. 이를 위해 먼저 150개의 개념을 아우르며 각 스티어링의 성공/실패가 라벨링된 140만 개의 스티어링 생성을 포함하는 테스트베드인 ASTEER를 소개합니다. 이 테스트베드를 활용하여, 레이어와 초기 디코딩 단계에 걸쳐 스티어링 전후의 은닉 상태를 비교하는 특징을 추출함으로써 모델의 초기 디코딩 역학을 분석합니다. 이러한 특징들은 스티어링의 효과가 레이어와 토큰 위치를 따라 어떻게 전파되는지 이해하는 데 도움을 주며, 이는 조종 가능성 예측을 위한 핵심 정보를 제공합니다. 그런 다음 이러한 특징에 대해 그래디언트 부스팅 결정 트리(GBDT) 분류기를 훈련하여, 전체 롤아웃 없이 개입이 과소 조종(under-steer), 성공, 또는 과도 조종(over-steer)될지 예측합니다. 우리의 예측기는 보이지 않는(unseen) 개념에 대해 약 0.7의 macro-F1 점수를 달성하여, 초기 은닉 상태가 궁극적인 스티어링 효능에 대한 상당하고 구조화된 정보를 인코딩함을 입증합니다. 또한 이 조종 가능성 예측기를 스티어링 강도 탐색을 위한 가이드로 활용하여, 디코딩 비용의 일부만으로 최적에 근접한 성능을 달성합니다.