라벨 없는 조향: 테스트 시간 강화학습을 바이어스 전용 부분공간으로 압축하기
Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces
테스트 시간 강화학습(TTRL)은 라벨이 지정된 학습 데이터에 의존하지 않고도 모델의 추론 능력을 향상시킬 수 있게 하지만, 기존 방식들은 일반적으로 모델 매개변수의 상당 부분을 최적화합니다. 이는 자연스럽게 다음과 같은 의문을 제기합니다. 보상 신호와 최적화 공간이 모두 엄격하게 제한될 때도 효과적인 테스트 시간 적응이 일어날 수 있을까? 우리는 사전학습된 백본을 고정한 채 다수결 의사라벨(pseudolabel)을 보상으로 사용하고 약 10만 개의 바이어스 매개변수만을 최적화하는 라벨 없는 바이어스 전용 TTRL을 통해 이 질문에 답합니다. MATH-500에서 우리의 접근 방식은 Qwen2.5-7B로 76.67%의 정확도를 달성하여, 전체 매개변수 TTRL보다 76,000배 적은 매개변수를 최적화하면서도 자체적으로 재현한 라벨 기반 바이어스 조향(bias-steering) 성능을 소폭 능가했습니다. 동일한 학습 절차는 MathVista, AI2D, LogicVista, MMAU를 포함한 비전-언어 및 오디오 추론 작업 전반에서 성능을 향상시킵니다. 나아가 학습된 조향 벡터가 4,500개의 별도 보류(held-out) MATH 문제로 전이됨을 보여주며, 이는 적응이 테스트 시간 최적화 중에 사용된 문제에만 국한되지 않음을 나타냅니다. 마지막으로 우리는 롤아웃 합의(consensus)에 따라 다수결 신뢰도가 향상되고 접근 가능한 그래디언트 에너지가 더 큰 바이어스 부분공간이 더 강력한 다운스트림 학습 가능성을 보임을 밝힘으로써, 이처럼 극도로 제한된 적응이 어떻게 작동할 수 있는지 분석합니다. 이러한 결과는 완전히 라벨이 없는 보상을 사용하여 매우 작은 바이어스 전용 부분공간을 최적화하는 것만으로도 상당한 테스트 시간 적응이 일어날 수 있음을 입증합니다.