함께 보기: 멀티모달 추론을 위한 지각-추론 공진화
Seeing with You: Perception-Reasoning Coevolution for Multimodal Reasoning
한국어 초록
검증 가능한 보상을 활용한 강화학습(RLVR)은 멀티모달 대규모 언어 모델(MLLM)의 추론 능력을 크게 향상시켰다. 그러나 기존 RLVR 접근법은 일반적으로 최종 답에만 기반한 공유 보상으로 지각과 추론을 모두 갱신하는 결과 중심 최적화에 의존한다. 이러한 공유 보상은 기여도 할당을 모호하게 만들어, 추론 패턴은 자주 개선하지만 상위 단계인 시각적 증거 추출의 정확도는 안정적으로 향상시키지 못한다. 이러한 지각 병목을 해결하기 위해, 공유 정책을 갖는 이중 역할 RLVR 프레임워크인 PRCO(Perception-Reasoning Coevolution)를 제안한다. PRCO는 질문에 맞춘 증거 캡션을 생성하는 Observer와 이 캡션을 바탕으로 최종 답을 예측하는 Solver라는 두 협력 역할로 구성된다. 특히 PRCO는 역할별 보상 신호를 사용한다. Solver는 최종 답에 대한 검증 가능한 결과 보상으로 최적화되고, Observer는 Solver의 후속 성공으로부터 도출된 유용성 보상을 받는다. 여덟 가지 도전적인 멀티모달 추론 벤치마크에서 수행한 폭넓은 실험 결과, PRCO는 모델 규모 전반에서 기반 모델 대비 평균 정확도를 7점 이상 일관되게 향상시켰으며, 기존의 오픈소스 RL 튜닝 베이스라인을 능가한다.
원문 초록
Reinforcement learning with verifiable rewards (RLVR) has substantially enhanced the reasoning capabilities of multimodal large language models (MLLMs). However, existing RLVR approaches typically rely on outcome-driven optimization that updates both perception and reasoning using a shared reward based solely on the final answer. This shared reward blurs credit assignment, frequently improving reasoning patterns while failing to reliably enhance the accuracy of upstream visual evidence extraction. To address this perception bottleneck, we introduce PRCO (Perception-Reasoning Coevolution), a dual-role RLVR framework with a shared policy. PRCO consists of two cooperative roles: an Observer that generates an evidence caption tailored to the question and a Solver that predicts the final answer based on this caption. Crucially, PRCO employs role-specific reward signals: the Solver is optimized using verifiable outcome rewards on the final answer, while the Observer receives a utility reward derived from the Solver's downstream success. Extensive experiments across eight challenging multimodal reasoning benchmarks demonstrate that PRCO yields consistent improvements across model scales by over 7 points on average accuracy compared to the base model, outperforming prior open-source RL-tuned baselines.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.28618v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.