PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.18587v3cs.LG

라벨 없는 조향: 테스트 시간 강화학습을 바이어스 전용 부분공간으로 압축하기

Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces

테스트 시간 강화학습(TTRL)은 라벨이 지정된 학습 데이터에 의존하지 않고도 모델의 추론 능력을 향상시킬 수 있게 하지만, 기존 방식들은 일반적으로 모델 매개변수의 상당 부분을 최적화합니다. 이는 자연스럽게 다음과 같은 의문을 제기합니다. 보상 신호와 최적화 공간이 모두 엄격하게 제한될 때도 효과적인 테스트 시간 적응이 일어날 수 있을까? 우리는 사전학습된 백본을 고정한 채 다수결 의사라벨(pseudolabel)을 보상으로 사용하고 약 10만 개의 바이어스 매개변수만을 최적화하는 라벨 없는 바이어스 전용 TTRL을 통해 이 질문에 답합니다. MATH-500에서 우리의 접근 방식은 Qwen2.5-7B로 76.67%의 정확도를 달성하여, 전체 매개변수 TTRL보다 76,000배 적은 매개변수를 최적화하면서도 자체적으로 재현한 라벨 기반 바이어스 조향(bias-steering) 성능을 소폭 능가했습니다. 동일한 학습 절차는 MathVista, AI2D, LogicVista, MMAU를 포함한 비전-언어 및 오디오 추론 작업 전반에서 성능을 향상시킵니다. 나아가 학습된 조향 벡터가 4,500개의 별도 보류(held-out) MATH 문제로 전이됨을 보여주며, 이는 적응이 테스트 시간 최적화 중에 사용된 문제에만 국한되지 않음을 나타냅니다. 마지막으로 우리는 롤아웃 합의(consensus)에 따라 다수결 신뢰도가 향상되고 접근 가능한 그래디언트 에너지가 더 큰 바이어스 부분공간이 더 강력한 다운스트림 학습 가능성을 보임을 밝힘으로써, 이처럼 극도로 제한된 적응이 어떻게 작동할 수 있는지 분석합니다. 이러한 결과는 완전히 라벨이 없는 보상을 사용하여 매우 작은 바이어스 전용 부분공간을 최적화하는 것만으로도 상당한 테스트 시간 적응이 일어날 수 있음을 입증합니다.

arXiv:2609.23589v1cs.SD

듣고 추론하라: 대규모 오디오-언어 모델을 위한 지각 기반 테스트 시점 강화학습

Listen Then Reason: Perception-Grounded Test-Time Reinforcement Learning for Large Audio-Language Models

대규모 오디오-언어 모델(LALM)은 점점 더 넓은 범위의 오디오 추론 과제에 활용되고 있다. 이러한 모델은 일반적으로 오디오 표현을 대규모 언어 모델(LLM) 백본에 통합하여 멀티모달 추론을 가능하게 한다. 최근 테스트 시점 강화학습(TTRL) 방법은 사전학습 이후 라벨 없는 테스트 데이터를 활용해 LLM의 추론 능력을 더욱 향상시킨다. 그러나 LALM의 지각(perceptual) 능력의 중요성, 특히 추론 과정에서 얼마나 많은 음향 증거가 통합·의존되는지, 그리고 이것이 최종 과제 성능에 어떻게 기여하는지는 여전히 충분히 탐구되지 않았다. 이러한 공백은 오디오 추론을 위한 TTRL과 같은 효과적인 사후 학습 방법의 개발을 제한한다. 본 연구에서는 먼저 추론 과정에서 오디오 정보가 어떻게 통합·활용되는지 분석한다. 층별 지각 의존도를 정량화하고, 더 강한 음향 의존이 더 높은 정확도 및 오디오 입력에 기인하는 더 큰 성능 향상과 연관됨을 보인다. 이를 바탕으로 라벨 없는 테스트 시점 최적화를 지각에 기반한 추론과 정렬하고, 모델이 추론을 오디오 입력에 더 강하게 구조화하도록 유도하는 Perception-Grounded TTRL(PG-TTRL)을 제안한다. LALM과 벤치마크에 걸친 실험에서 PG-TTRL은 기본 모델과 표준 TTRL 모두 대비 추론 성능을 일관되게 향상시키며, 테스트 시점 오디오 추론을 위한 지각 기반 최적화의 가치를 보여준다.