갱신에 시각 정보가 반영되는가? 멀티모달 추론에서 보상이 배분되는 위치 학습하기
Eyes in the Update? Learning Where Rewards Land in Multimodal Reasoning
한국어 초록
멀티모달 사후 학습은 폭넓은 지시 미세조정에서 이미지와 비디오 추론을 위한 강화학습으로 옮겨 왔다. 결과에 보상을 주면 최종 답변의 정확도를 높일 수 있다. 그러나 보상은 생성한 궤적 전체에 부여되는 반면, 시각적 근거는 응답의 일부 위치에서 불균등하게 쓰인다. 최근 연구는 근거 연결 신호나 외부에서 정한 토큰별 가중치로 멀티모달 강화학습이 토큰의 차이를 더 잘 반영하게 했다. 이 연구에서는 보조 주석 도구, 인식 모듈, 과정 레이블 없이 모델 자체의 멀티모달 계산으로 동일한 궤적 수준 보상의 배분을 추론할 수 있는지 묻는다. 잠재 보상 배분장을 사용해 생성 결과 수준의 어드밴티지를 위치별로 재분배하는 표현 기반 정책 최적화 방법 Gaze-RL을 제안한다. 모델 내부의 모달리티 간 기하 구조와 국소 예측 불확실성으로 이 배분장을 계산한다. 시각적 근거가 있고 판단에 영향을 주는 위치에 더 높은 갱신 가중치를 부여하면서 가중치의 평균을 1로 유지한다. 따라서 롤아웃에 부여되는 전체 학습 신호는 보존되며 위치별 배분만 달라진다. 과정 지도 신호, 보조 인식 모듈, 아키텍처 변경 없이도 다양한 이미지 및 비디오 벤치마크에서 Qwen2.5-VL과 InternVL3.5의 성능을 모두 높였다.
원문 초록
Multimodal post-training has moved from broad instruction tuning toward reinforcement learning for image and video reasoning, where outcome rewards can improve final-answer accuracy. Yet these rewards are assigned to complete generated trajectories, while visual evidence is used only at sparse and uneven positions inside the response. Recent work has begun to make multimodal RL more token-sensitive through grounding signals or external token-level weighting. We ask a more specific question: can the allocation of the same trajectory-level reward be inferred from the model's own multimodal computation, rather than from an auxiliary annotator, perception module, or process label? We propose Gaze-RL, a representation-driven policy optimization method that redistributes completion-level advantage through a latent reward landing field. The field is computed from internal cross-modal geometry and local predictive uncertainty, assigning larger update weight to positions that are both visually anchored and decision-bearing while remaining mean-one, so the total credit of each rollout is preserved and only its positionwise allocation changes. Gaze-RL requires no process supervision, auxiliary perception module, or architectural modification, and improves both Qwen2.5-VL and InternVL3.5 across a broad range of image and video benchmarks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22438v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.