arXiv:2506.04207

Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning

Shuang Chen, Yue Guo, Zhaochen Su, Yafu Li, Yulun Wu, Jiacheng Chen, Jiayu Chen, Weijie Wang, Xiaoye Qu, Yu Cheng

제출 2025-06-04

원문 초록

Inspired by the remarkable reasoning capabilities of Deepseek-R1 in complex textual tasks, many works attempt to incentivize similar capabilities in Multimodal Large Language Models (MLLMs) by directly applying reinforcement learning (RL). However, they still struggle to activate complex reasoning. In this paper, rather than examining multimodal RL in isolation, we delve into current training pipelines and identify three crucial phenomena: 1) Effective cold start initialization is critical for enhancing MLLM reasoning. Intriguingly, we find that initializing with carefully selected text data alone can lead to performance surpassing many recent multimodal reasoning models, even before multimodal RL. 2) Standard GRPO applied to multimodal RL suffers from gradient stagnation, which degrades training stability and performance. 3) Subsequent text-only RL training, following the multimodal RL phase, further enhances multimodal reasoning. This staged training approach effectively balances perceptual grounding and cognitive reasoning development. By incorporating the above insights and addressing multimodal RL issues, we introduce ReVisual-R1, achieving a new state-of-the-art among open-source 7B MLLMs on challenging benchmarks including MathVerse, MathVision, WeMath, LogicVista, DynaMath, and challenging AIME2024 and AIME2025.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2604.13491v4cs.CV공통 태그 Reinforcement Learning (RL), Multimodal Reasoning

FiRe: 향상된 이미지 생성을 위한 세밀한 멀티모달 추론

FiRe: Fine-grained Multimodal Reasoning for Enhanced Image Generation

멀티모달 대규모 언어 모델(MLLM)의 급격한 발전과 함께 이미지 이해와 생성을 공동으로 수행하는 통합 MLLM이 크게 진보했습니다. 그러나 자기 반성(self-reflection) 및 자체 개선(self-refinement)을 위한 통합 MLLM 고유의 추론 능력에도 불구하고, 텍스트-투-이미지(text-to-image) 생성에서 이러한 능력을 활용하는 것은 여전히 거의 탐색되지 않은 상태로 남아 있습니다. 한편, 기존의 멀티모달 추론 기반 이미지 생성 방식은 대부분 프롬프트 증강이나 전체적인 이미지-텍스트 정렬(alignment) 판단에 의존할 뿐 세부 프롬프트 속성에 대한 세밀한 반성과 개선이 이루어지지 않아, 세밀한 제어에 한계를 보입니다. 이러한 한계를 해결하기 위해, 본 논문에서는 MLLM 기반의 향상된 이미지 생성을 위한 세밀한 멀티모달 추론(Fine-grained Multimodal Reasoning) 기법인 FiRe를 제안합니다. 구체적으로 FiRe는 먼저 프롬프트를 핵심 시각적 요구 조건으로 분해한 다음, 생성된 이미지에서 이들의 충족 여부를 스스로 판단하고, 자체 생성된 정밀한 피드백에 따라 국소적 개선을 수행하는 세밀한 다단계 추론을 진행합니다. 또한 MLLM의 멀티모달 추론 능력을 더욱 강화하기 위해 FiRe에 맞춤화된 강화학습 기법인 FiRe-GRPO를 도입합니다. 표준 그룹 상대 정책 최적화(GRPO)는 다단계 추론에서 희소한 결과 기반 보상 문제로 어려움을 겪으므로, 본 연구에서는 추론 과정을 단계별 의사결정 문제로 정식화하고, 단계별 보상을 설계하며, GRPO 내에서 세분화된 신뢰 할당(credit assignment)을 위한 단계별 어드밴티지를 계산합니다. 광범위한 실험을 통해 FiRe가 기존 추론 기반 방식을 포함한 경쟁력 있는 텍스트-투-이미지 베이스라인 모델들을 일관되게 능가하며, 특히 구성적(compositional) 텍스트-투-이미지 벤치마크에서 상당한 성능 향상을 달성함을 입증합니다. 프로젝트 페이지는 https://ku-agi.github.io/FiRe/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.