PyTorchKR Papers

최신 논문

총 41편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07000v1cs.AI

답이 아닌 방법을 가르치기: 다중모달 정책 최적화를 위한 특권 튜터링 증류

Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization

최근 사후 학습 방법, 특히 검증 가능 보상 강화학습(RLVR)은 대규모 비전-언어 모델(LVLM)의 추론 능력을 크게 향상시켰다. 그러나 검증 가능 보상의 희소성 때문에 실패한 롤아웃에 대한 토큰 수준 지도가 거의 제공되지 않아, 복잡한 다중모달 추론 과제에서 비효율적인 탐험이 흔히 발생한다. 정책 증류가 조밀한 지도를 제공할 수 있지만, 외부 교사 기반 방법은 상당한 계산 오버헤드를 유발하는 반면, 답 조건부 튜닝 방법은 답 수준 정보를 노출하고 지름길과 유사한 생성 행동을 유발할 수 있다. 이러한 한계를 해결하기 위해, 우리는 PTD-PO(Privileged Tutoring Distillation Policy Optimization)를 제안한다. 이는 RLVR을 위한 프레임워크로, 학생 정책에 답을 노출하지 않으면서도 조밀한 지도를 제공한다. 구체적으로, PTD-PO는 공간적 어텐션 지도와 중간 텍스트 추론 단계로부터 구조화된 특권 힌트를 구성하고, 문맥 내 학습(ICL)을 통해 이를 활용하여 단계별 토큰 분포 지도를 생성한다. 학생은 여전히 원래의 답 없는 문맥에서 최적화되며, 실패한 롤아웃은 토큰 분포 수준에서 힌트가 증강된 참조 모델과 정렬된다. 지도된 문맥과 비지도 문맥 간 분포 이동 하에서 증류를 더 안정화하기 위해, 우리는 정보가 풍부한 토큰 확률에 정렬을 집중하면서 메모리 오버헤드를 줄이는 Top-K Jensen-Shannon divergence 목적함수를 도입한다. 2B에서 8B 매개변수 규모의 LVLM에 대한 실험은 PTD-PO가 RLVR 및 증류 baseline을 일관되게 능가하고, 엔트로피 붕괴를 완화하며, 복잡한 다중모달 추론 성능을 개선함을 보여준다.