arXiv:2503.13360

Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning

Hai-Long Sun, Zhun Sun, Houwen Peng, Han-Jia Ye

제출 2025-03-17

원문 초록

Recent advancements in Large Language Models (LLMs) have demonstrated enhanced reasoning capabilities, evolving from Chain-of-Thought (CoT) prompting to advanced, product-oriented solutions like OpenAI o1. During our re-implementation of this model, we noticed that in multimodal tasks requiring visual input (e.g., geometry problems), Multimodal LLMs (MLLMs) struggle to maintain focus on the visual information, in other words, MLLMs suffer from a gradual decline in attention to visual information as reasoning progresses, causing text-over-relied outputs. To investigate this, we ablate image inputs during long-chain reasoning. Concretely, we truncate the reasoning process midway, then re-complete the reasoning process with the input image removed. We observe only a ~2% accuracy drop on MathVista's test-hard subset, revealing the model's textual outputs dominate the following reasoning process. Motivated by this, we propose Take-along Visual Conditioning (TVC), a strategy that shifts image input to critical reasoning stages and compresses redundant visual tokens via dynamic pruning. This methodology helps the model retain attention to the visual components throughout the reasoning. Our approach achieves state-of-the-art performance on average across five mathematical reasoning benchmarks (+3.4% vs previous sota), demonstrating the effectiveness of TVC in enhancing multimodal reasoning systems.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2507.06167공통 태그 Multimodal Reasoning, Mathematical Reasoning공식 코드 · Papers with Code

Skywork-R1V3 Technical Report

arXiv:2506.07905cs.CV공통 태그 Multimodal Reasoning, Mathematical Reasoning공식 코드 · Papers with Code

WeThink: Toward General-purpose Vision-Language Reasoning via Reinforcement Learning

텍스트 기반 추론 모델인 DeepSeek-R1의 성공을 바탕으로, 이러한 능력을 멀티모달 추론으로 확장하는 것은 큰 가능성을 지닙니다. 최근 연구들은 DeepSeek-R1 스타일의 강화학습(RL) 학습 패러다임을 멀티모달 대형언어모델(MLLM)에 적용하여 수학 및 시각 인지와 같은 도메인 특화 과제에 집중해왔으나, 중요한 질문이 남아 있습니다: RL을 통해 어떻게 범용 시각-언어 추론을 달성할 수 있을까요? 이 문제를 해결하기 위해 저희는 세 가지 핵심 노력을 기울였습니다. (1) 주어진 이미지로부터 문맥 인지적이고 추론 중심적인 질문-답변(QA) 쌍을 자율적으로 생성하는 새로운 확장 가능한 멀티모달 QA 합성 파이프라인. (2) 18개의 다양한 데이터셋 출처에서 선별하고 추론 경로가 주석된 12만 개 이상의 멀티모달 QA 쌍을 포함하는 오픈소스 WeThink 데이터셋, 다양한 질문 도메스를 포괄합니다. (3) 다양한 과제 도메인에서 RL 학습 효율을 최적화하기 위해 규칙 기반 검증과 모델 기반 평가를 결합한 하이브리드 보상 메커니즘을 도입하여, 저희 데이터셋에 대한 RL의 포괄적 탐구. 14개의 다양한 MLLM 벤치마크 전반에 걸쳐, WeThink 데이터셋이 수학적 추론부터 다양한 범용 멀티모달 과제에 이르기까지 성능을 크게 향상시킴을 입증하였습니다. 더불어, 자동화된 데이터 파이프라인이 지속적으로 데이터 다양성을 증가시켜 모델 성능을 더욱 향상시킬 수 있음을 보여줍니다.

arXiv:2505.23851v3cs.CL공통 태그 Mathematical Reasoning공식 코드 · Papers with Code

ASyMOB: 대수적 기호 수학 연산 벤치마크

ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark

대규모 언어 모델(LLM)은 기호 수학(symbolic mathematics) 분야에 점점 더 많이 적용되고 있으나, 기존 평가 방식들은 패턴 암기와 진정한 추론(reasoning)을 혼동하는 경우가 많습니다. 이러한 격차를 해결하기 위해, 우리는 적분, 극한, 미분 방정식, 급수, 및 초기하 함수를 아우르는 검증된 35,368개의 기호 수학 문제로 구성된 고해상도 데이터셋인 ASyMOB를 제시합니다. 기존 벤치마크와 달리, ASyMOB는 기호적, 수치적, 그리고 동등성 보존 변환을 사용하여 각 시드 문제를 체계적으로 변형함으로써, 일반화 능력에 대한 정밀한 평가를 가능하게 합니다. 우리의 평가 결과 세 가지 주요 발견이 드러났습니다: (1) 대부분의 모델은 사소한 변형 하에서도 성능이 급격히 하락하는 반면, 상위 시스템들은 견고성(robustness)에서 명백한 레짐 변화(regime shift)를 보입니다; (2) 통합된 코드 도구는 성능을 안정화시키며, 특히 성능이 낮은 모델에서 그 효과가 두드러집니다; (3) 컴퓨터 대수 시스템(CAS)이 실패하고 LLM이 성공하는 사례와 하이브리드 LLM-CAS 접근 방식을 통해서만 해결되는 문제를 식별하여, 유망한 통합의 가능성을 강조했습니다. ASyMOB는 과학적 발견을 위한 검증 가능하고 신뢰할 수 있는 AI 구축의 진전을 측정하고 가속화하기 위한 원칙에 기반한 진단 도구로서 기능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.