arXiv:2608.03450v1 cs.MM

효율성과 효과성의 균형: MLLM을 위한 명시적 사고와 잠재적 사고 간의 학습 불필요 어텐션 유도 전환

Balancing Efficiency and Efficacy: Training-Free Attention-Guided Switching Between Explicit and Latent Thoughts for MLLMs

Haoqian Kang, Liupeng Li, Kuofeng Gao, Jinpeng Wang, Zhenyu Lu, Bin Chen, Ke Chen, Yaowei Wang

제출 2026-08-04

한국어 초록

다중모달 대규모 언어 모델(MLLM)에서의 추론은 세밀한 시각적 인지(perception)와 엄밀한 논리적 연역을 모두 필요로 합니다. 텍스트 기반의 명시적 사고의 연쇄(Chain-of-Thought, CoT)는 계산 비용이 많이 들고 시각적 환각(hallucination)에 취약한 반면, 기존의 잠재적 추론(latent reasoning) 방식은 일반적으로 많은 비용이 드는 학습을 요구합니다. 나아가 학습이 불필요한 LLM 추론 메커니즘을 다중모달 환경에 직접 적용하면 불안정한 성능을 초래합니다. 본 연구에서는 이러한 실패가 토큰 수준의 엔트로피에 의존하기 때문에 발생하며, 이는 본질적으로 인지적 모호성(예: 불명확한 시각적 세부 정보)과 논리적 불확실성(예: 복잡한 추론 단계)을 혼동한다는 점을 밝혀냈습니다. 이러한 병목 현상을 극복하기 위해, 인지와 추론을 명시적으로 분리하는 MLLM용 새로운 학습 불필요 추론 전략을 제시합니다. 모델의 인지적 초점을 동적으로 측정하기 위한 새로운 척도인 시각-텍스트 어텐션 비율(vision-to-text attention ratio)을 제안합니다. 이 척도를 바탕으로, 제안하는 프레임워크인 AGS(Attention-Guided Switching)는 연속 공간에서 고충실도 시각 정보를 보존하기 위해 인지 토큰에 대해서는 잠재적 추론을 적응적으로 유도하고, 구조적 닻내림(anchoring)을 유지하기 위해 논리 토큰에 대해서는 명시적인 텍스트 생성을 강제합니다. 광범위한 실험을 통해 제안 방법이 최고 수준의 성능을 달성하며, 자기회귀 단계와 지연 시간을 줄여 정확도와 추론 효율성을 모두 크게 향상시킴을 입증합니다. 코드는 https://github.com/swordAndSnow/MM26-AGS 에 공개되어 있습니다.

원문 초록

Reasoning in Multimodal Large Language Models (MLLMs) requires both fine-grained visual perception and rigorous logical deduction. Explicit text-based Chain-of-Thought (CoT) is computationally expensive and prone to visual hallucinations, while existing latent reasoning methods typically require costly training. Furthermore, directly adapting training-free LLM reasoning mechanisms to the multimodal setting yields unstable performance. We identify that this failure stems from their reliance on token-level entropy, which fundamentally conflates perceptual ambiguity (e.g., unclear visual details) with logical uncertainty (e.g., complex reasoning steps). To overcome this bottleneck, we present a novel training-free inference strategy for MLLMs that explicitly decouples perception and reasoning. We propose a novel metric, the vision-to-text attention ratio, to dynamically gauge the model's cognitive focus. Guided by this metric, our proposed framework, Attention-Guided Switching (AGS), adaptively triggers latent reasoning for perceptual tokens to preserve high-fidelity visual information in the continuous space, while enforcing explicit text generation for logical tokens to maintain structural anchoring. Extensive experiments demonstrate that our method achieves state-of-the-art performance, significantly improving both accuracy and inference efficiency by reducing autoregressive steps and latency. Code is released at https://github.com/swordAndSnow/MM26-AGS.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.03450v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.