DRT: 효율적이고 그라운딩된 멀티모달 추론을 위한 Dense Reasoning Trace
DRT: Dense Reasoning Trace for Efficient and Grounded Multimodal Reasoning
한국어 초록
멀티모달 대규모 언어 모델(MLLM)에서 놀라운 진전이 있었음에도, 지배적인 사고의 연쇄(CoT) 패러다임은 여전히 자연어 표현 공간에 국한되어 있다. 그 결과 본질적으로 과도한 언어적 오버헤드를 초래하여 정보 희석과 약한 시각적 그라운딩을 낳는다. 이 과제를 해결하기 위해, 우리는 자연어 중심 CoT에서 벗어나 추론을 기호적 연결자를 포함한 간결한 중간 상태로 구성된 압축된 구조화 트레이스로 표현하고, 시각적 관찰과 논리적 추론을 분리하는 패러다igm인 Dense Reasoning Trace(DRT)를 제안한다. 먼저 Dense Trace Initialization을 도입하여 DRT 추론 모드를 모델에 내재화함으로써 시각적 근거를 유지하면서 토큰 효율을 크게 높인다. 더 나아가 트레이스 내 논리 관계를 모델이 충실히 포착하도록 Trace-Grounded Reinforcement Learning 프레임워크를 제안한다. 이는 3관점 검증 파이프라인으로 참조 트레이스를 구축하고, 구조화된 보상을 사용하는 Trace-Grounded GRPO를 적용하여 환각을 줄이고 논리적 그라운딩을 강화한 간결한 DRT 스타일 트레이스 생성을 유도한다. 어려운 추론 벤치마크에 대한 광범위한 실험에서 DRT는 Qwen3-VL 기준선 대비 토큰 효율 5.5배 개선과 정확도 1.3%p 향상을 달성한다. 이러한 결과는 복잡한 멀티모달 추론이 장황한 자연어 트레이스를 반드시 필요로 하지 않을 수 있음을 시사하며, 차세대 MLLM을 위한 더 효율적인 경로를 연다. 코드와 데이터는 https://github.com/HIT-leaderone/DRT 에서 이용할 수 있다.
원문 초록
Despite the remarkable progress in Multimodal Large Language Models (MLLMs), prevailing Chain-of-Thought (CoT) paradigms remain confined to the natural-language expression space. Consequently, they inherently incur excessive linguistic overhead, leading to information dilution and weak visual grounding. To address this challenge, we propose Dense Reasoning Trace (DRT), a paradigm that departs from natural-language-centered CoT by expressing reasoning as compact structured traces, which include concise intermediate states with symbolic connectors and disentangle visual observations from logical deductions. First, we introduce the Dense Trace Initialization to internalize the DRT reasoning mode into the model, substantially improving token efficiency while preserving visual evidence. To further enable the model to faithfully capture the logical relations within traces, we propose the Trace-Grounded Reinforcement Learning framework, which builds reference traces through a tri-perspective verification pipeline and employs Trace-Grounded GRPO with structured rewards, encouraging the model to generate concise DRT-style traces with reduced hallucination and stronger logical grounding. Extensive experiments on challenging reasoning benchmarks show that DRT achieves 5.5$\times$ token efficiency improvement while improving 1.3 accuracy points over the Qwen3-VL baseline. These findings suggest that complex multimodal reasoning may not require verbose natural-language traces, opening a more efficient path for next-generation MLLMs. Our code and data are available at: https://github.com/HIT-leaderone/DRT
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.21675v2제출 시각 미확인
- arXiv:2609.21675v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.