Often, deep network models are purely inductive during training and while performing inference on unseen data. Thus, when such models are used for predictions, it is well known that they often fail to capture the semantic information and implicit dependencies that exist among objects (or concepts) on a population level. Moreover, it is still unclear how domain or prior modal knowledge can be specified in a backpropagation friendly manner, especially in large-scale and noisy settings. In this work, we propose an end-to-end vision and language model incorporating explicit knowledge graphs. We also introduce an interactive out-of-distribution (OOD) layer using implicit network operator. The layer is used to filter noise that is brought by external knowledge base. In practice, we apply our model on several vision and language downstream tasks including visual question answering, visual reasoning, and image-text retrieval on different datasets. Our experiments show that it is possible to design models that perform similarly to state-of-art results but with significantly fewer samples and training time.
멀티모달 AI를 활용한 과학 도표 이해 및 추론은 연구 논문의 본문에 종종 제시되지 않는 유의미한 지식을 추출하기 위해 시각적 인지 능력과 도메인 특화 추론의 결합을 필요로 합니다. 커뮤니티 주도형 경진대회와 함께 제공되는 Sci-ImageMiner 벤치마크 데이터셋은 4개의 엔드투엔드 상호보완적 과제 전반에 걸쳐 포괄적이고 전문가가 주석을 추가한 데이터셋을 구축함으로써 기존 과학 경진대회의 기준을 높였습니다. 본 대회는 2026년 1월 9일부터 2026년 4월 8일까지 68명의 활성 참가자와 1,263건의 공개/비공개 제출을 유치했습니다. 분석 결과, 최첨단(SOTA) 멀티모달 모델들은 분류(classification) 및 요약 과제에서는 우수한 성능을 보였으나, 데이터 추출 및 과학적 추론, 특히 시각적 질의응답(VQA) 과제에서는 어려움을 겪는 것으로 나타났습니다. 이러한 결과는 주요 한계점을 밝혀내고 도메인 인식 멀티모달 AI 시스템을 개선하기 위한 도전 과제와 기회를 조명합니다. 전반적으로 Sci-ImageMiner 벤치마크와 경진대회는 과학 도표 이해 및 추론 연구를 발전시키기 위한 엄격한 플랫폼을 확립하며, 까다롭고 복잡한 연구 분야에 대한 최첨단 접근법의 잠재력을 입증합니다.
비전-언어 모델(Vision Language Models)은 정적 시각 산출물 해석에서 뛰어난 능력을 보여 주었지만, 현대 데이터 분석은 본질적으로 동적이며 대화형 환경을 적극적으로 탐색·질의해야 한다. 기존 벤치마크는 대부분 정적 이미지와 일회성 질의응답에 국한되어, 증거가 자주 가려지거나 연결된 뷰에 분산되거나 사용자 행위에 따라 조건부로 드러나는 이 영역의 인식론적 요구를 포착하지 못한다. 본 논문에서는 대화형 시각화에 대한 에이전트형 주장 검증 벤치마크인 InSight를 제안한다. 데이터셋은 사람이 작성한 분석 내러티브에서 파생된 21,349개의 주장으로 구성되며, 완전히 대화형인 웹 기반 환경에 그라운딩되어 있다. 에이전트는 이러한 환경을 탐색하여 자연어 주장이 이용 가능한 증거에 비추어 지지되는지, 반박되는지, 아니면 검증 불가능한지 판단해야 한다. 기존 평가와 달리 InSight는 상호작용 trace를 추론의 내재적 대리 지표로 취급하여, 모델이 시각적 증거를 어떻게 탐색하고 종합하는지 엄밀히 감사할 수 있게 한다. 최신(state-of-the-art) 모델을 평가한 결과, 대화형 검증은 여전히 사소하지 않은(non-trivial) 과제임을 보여 준다. InSight는 https://github.com/maevehutch/insight 에서 공개한다.
The emergence of ChatGPT has once again sparked research in generative artificial intelligence (GAI). While people have been amazed by the generated results, they have also noticed the reasoning potential reflected in the generated textual content. However, this current ability for causal reasoning is primarily limited to the domain of language generation, such as in models like GPT-3. In visual modality, there is currently no equivalent research. Considering causal reasoning in visual content generation is significant. This is because visual information contains infinite granularity. Particularly, images can provide more intuitive and specific demonstrations for certain reasoning tasks, especially when compared to coarse-grained text. Hence, we propose a new image generation task called visual question answering with image (VQAI) and establish a dataset of the same name based on the classic \textit{Tom and Jerry} animated series. Additionally, we develop a new paradigm for image generation to tackle the challenges of this task. Finally, we perform extensive experiments and analyses, including visualizations of the generated content and discussions on the potentials and limitations. The code and data are publicly available under the license of CC BY-NC-SA 4.0 for academic and non-commercial usage. The code and dataset are publicly available at: https://github.com/IEIT-AGI/MIX-Shannon/blob/main/projects/VQAI/lgd_vqai.md.
멀티모달 언어 모델은 외부 문서에 대한 질문에 점점 더 많이 답하게 되었고, 이로 인해 신뢰할 수 없는 콘텐츠에 심어 둔 명령으로 응답을 가로채는 간접 프롬프트 인젝션에 노출된다. 신뢰할 수 없는 콘텐츠를 페이지 이미지로 렌더링하면 평균적으로 공격 성공률이 낮아지지만, 어떤 주입된 작업이 렌더링 후에도 살아남는지, 어떤 유용성 비용이 드는지, 그리고 실패한 이미지 공격이 읽히지 않은 명령을 반영하는지 아니면 읽혔으나 따르지 않은 명령을 반영하는지는 열려 있다. 우리는 여섯 개 모델에 걸쳐 191개 영어 질의응답 출처의 텍스트 버전과 페이지 이미지 버전을 짝지어, 정상 질의응답 유용성과 함께 마커 덧붙이기, 답변 형식 지정, 답변 대체를 측정한다. 렌더링은 모든 모델에서 덧붙이기와 형식 지정의 실행을 감소시키지만, Qwen3-VL-8B는 여전히 이미지로 전달된 대체 명령을 77.96\%의 비율로 실행한다. 보호 효과는 대상 유형, 렌더링 설정, 문구, 반복에도 좌우되며, 고정된 여덟 개 공격 후보에 대한 탐색은 Qwen과 Gemini에서 덧붙이기와 형식 지정의 이미지 열세를 대체로 해소하지만 GPT-5-nano에서는 그렇지 않다. 원래 질문에 대한 유용성 비율은 93.31\%에서 101.61\%까지 분포하지만, 답이 두 개의 증거 구간을 결합해야 할 때 Qwen은 61.99\%로 떨어진다. 판독 불가능성이 실패한 모든 공격을 설명할 수는 없다. 모델은 실행하지 않는 이미지 기반 명령을 종종 전사하고 식별하며, 신뢰할 수 있는 사용자 승인은 변경되지 않은 페이지에서 실행을 높인다. Qwen 내부에서는 초기 공격 영역 상태를 패칭하면 세 가지 작업이 모두 유도되며, 이미지에서는 그 효과가 더 약하다. 어텐션 차단은 그 이유를 시사한다. 텍스트 명령은 자신의 위치를 통해 작용하는 반면, 시각적 인코딩은 이미지 명령과 그 대상을 지시 페이지 전체에 퍼뜨린다. 따라서 렌더링은 조건부 보호를 제공하며, 이는 유용성과 함께 모델, 작업, 공격 예산별로 보안을 보고하는 평가의 필요성을 뒷받침한다.
현재 오디오-비전 질의응답(QA)을 위한 자동화된 파이프라인은 일반적으로 "비디오-캡션-QA" 패러다임을 채택합니다. 그러나 이러한 방법들은 일반적으로 비디오를 짧은 클립으로 분할하고 오디오 및 비전 모달리티에 대해 별도의 설명을 생성합니다. 이러한 분리된 처리는 소리와 시각적 근원 간의 본질적인 연결을 끊으며, 독립적인 클립 처리는 종종 세그먼트 간에 동일한 개체(entity)에 대한 불일치하는 설명을 초래합니다. 또한, 긴 텍스트 이해와 QA 합성을 단일 단계로 결합하는 것은 모델을 국지적 사건으로 제한하여, 장기적인 시간적 연결과 심층적인 교차 모달 추론이 결여된 질문을 생성하게 만듭니다. 이러한 문제들을 해결하기 위해, 우리는 두 가지 메커니즘을 특징으로 하는 자동화된 데이터 엔진을 제안합니다: (1) \textbf{Entity-Anchored Video Scripting(개체 고정 비디오 스크립팅)}은 비디오를 요약, 주요 개체 목록, 세그먼트별 오디오-비전 설명으로 구성된 구조화된 스크립트로 변환합니다. 개체 목록은 세그먼트 간 참조 일관성을 보장하고 오디오-비전 연결을 재구성하는 전역적 선행 정보(global prior)로 작용합니다. (2) \textbf{Clue-Guided QA Generation(단서 기반 QA 생성)}은 모델이 먼저 스크립트에서 세그먼트 간 멀티모달 단서를 추출하도록 프롬프트하고, 이후 이러한 가치 높은 단서를 기반으로 QA 쌍을 생성합니다. 이 파이프라인을 활용하여 우리는 인스트럭션 튜닝(instruction-tuning) 데이터셋인 \textbf{OmniVideo-100K}와 인간 검증 테스트 세트인 \textbf{OmniVideo-Test}를 구축했습니다. OmniVideo-100K에서 VITA-1.5, Qwen2.5-Omni-7B 및 Qwen3-Omni-30B를 미세조정(fine-tuning)한 결과 OmniVideo-Test에서 최대 20.59%의 성능 향상을 보였으며, Daily-Omni 및 JointAVBench와 같은 기존 벤치마크에서 강력한 일반화(최대 12.64% 향상)를 입증했습니다.
자기중심적 시각 질의응답(Egocentric Visual Question Answering, VQA)은 멀티모달 대규모 언어 모델(MLLM)이 실세계와 상호작용할 수 있도록 하는 중요한 과제로서 널리 주목받고 있다. 그러나 기존 MLLM은 공간 인지 능력이 제한적이어서 복잡한 자기중심적 장면에서 효과적인 공간 추론을 수행하는 데 어려움을 겪는다. 이를 위해 우리는 제안한 Ego-element Graph를 기반으로 자기중심적 관점에서 공간 인지 능력을 적극적으로 향상시키는 자기중심적 공간 인지 프레임워크인 Ego Scene Augmentation(ESA)을 제안한다. 우리의 핵심 통찰은 시각 기초 모델(visual foundational models)을 통해 Ego-element Graph를 중간 표현으로 활용하여 MLLM의 자기중심적 공간 인지를 증강하는 것이다. 구체적으로, 우리는 1) 시각 기초 모델이 제공하는 자기중심적 공간 특징을 캡슐화하고 통합하는 Ego-element Graph를 구축하고, 2) 자기 시점 장면에 대해 Ego-element Graph를 통해 MLLM의 공간 인지 능력을 향상시킨다. 제안한 ESA 프레임워크는 EgoTextVQA 벤치마크에서 유의미한 성능 향상을 보여준다. 실내 설정에서 8.14%, 실외 설정에서 8.72%의 향상을 달성했다. 또한 ESA는 실내 설정의 쇼핑(shopping) 하위 집합에서 가장 인상적인 성능 향상을 보인다. 프로젝트 코드는 공개되어 있다.
비전-언어 생성은 주로 자기회귀 모델과 이산 확산 모델에 의존해 왔다. 자기회귀 모델은 토큰을 순차적으로 생성하는 반면, 이산 확산 모델은 일반적으로 각 잡음 제거 단계에서 토큰을 독립적으로 예측한다. 우리는 출력 임베딩의 결합 모델링과 병렬 토큰 디코딩을 결합한 연속 흐름 비전-언어 모델 ViLFlow(Vision-Language Flow)를 제안한다. ViLFlow는 학습된 이미지 가이던스와 예측 인식 토큰 디코딩을 통해 사전학습된 연속 언어 생성을 시각 질의응답과 이미지 캡셔닝에 적응시킨다. 시각적으로 적응된 교사 모델은 추가적인 잡음 제거 지도로서 이미지 기반 예측을 제공한다. 잡음 제거기는 이러한 예측을 직접 재현하도록 학습하며, 생성 단계마다 하나의 이미지 조건부 예측만을 유지한다. 우리는 연속 출력을 단어로 변환하는 성능을 높이기 위해 잡음 제거기의 예측과 짝지어진 참조 텍스트로 토큰 디코더를 학습한다. 디코더는 독립적으로 적응시킬 수 있어, 잡음 제거기의 추가 학습 없이도 응답과 캡셔닝을 개선한다. 캡셔닝의 경우 디코더는 잡음 제거 후반에 텍스트 피드백도 제공하여, 디코딩된 단어가 이후의 정제에 반영되도록 한다. ViLFlow는 GQA 학습 없이도 VQAv2에서 최대 8.46%p, GQA에서 4.50%p까지 자기회귀 및 마스크 확산 기준 모델을 능가한다. COCO Karpathy 테스트에서는 마스크 확산 대비 CIDEr를 16.25, 샘플링 기반 자기회귀 대비 17.81 향상시킨다.
Finetuning language agents with reasoning-action trajectories is effective, but obtaining these trajectories from human annotations or stronger models is costly and sometimes impractical. In this paper, we investigate the use of self-training in language agents, which can generate supervision from the agent itself, offering a promising alternative without relying on human or stronger model demonstrations. Self-training, however, requires high-quality model-generated samples, which are hard to obtain for challenging language agent tasks. To address this, we present Reflection-Reinforced Self-Training (Re-ReST), which uses a \textit{reflector} to refine low-quality generated samples during self-training. The reflector takes the agent's output and feedback from an external environment (e.g., unit test results in code generation) to produce improved samples. This technique enhances the quality of inferior samples and efficiently enriches the self-training dataset with higher-quality samples. We conduct extensive experiments on open-source language agents across tasks, including multi-hop question answering, sequential decision-making, code generation, visual question answering, and text-to-image generation. The results demonstrate the effectiveness of self-training and Re-ReST in language agent tasks, with self-training improving baselines by 7.6\% on HotpotQA and 28.4\% on AlfWorld, and Re-ReST further boosting performance by 2.0\% and 14.1\%, respectively. Our studies also confirm the efficiency of using a reflector to generate high-quality samples for self-training. Moreover, we demonstrate a method to employ reflection during inference without ground-truth feedback, addressing the limitation of previous reflection work. Our code is released at https://github.com/PlusLabNLP/Re-ReST.
Large Vision Language Models (LVLMs) achieve great performance on visual-language reasoning tasks, however, the black-box nature of LVLMs hinders in-depth research on the reasoning mechanism. As all images need to be converted into image tokens to fit the input format of large language models (LLMs) along with natural language prompts, sequential visual representation is essential to the performance of LVLMs, and the information flow analysis approach can be an effective tool for determining interactions between these representations. In this paper, we propose integrating attention analysis with LLaVA-CAM, concretely, attention scores highlight relevant regions during forward propagation, while LLaVA-CAM captures gradient changes through backward propagation, revealing key image features. By exploring the information flow from the perspective of visual representation contribution, we observe that it tends to converge in shallow layers but diversify in deeper layers. To validate our analysis, we conduct comprehensive experiments with truncation strategies across various LVLMs for visual question answering and image captioning tasks, and experimental results not only verify our hypothesis but also reveal a consistent pattern of information flow convergence in the corresponding layers, and the information flow cliff layer will be different due to different contexts. The paper's source code can be accessed from \url{https://github.com/zhangbaijin/From-Redundancy-to-Relevance}
Visual agents must turn video observations into timely decisions to track progress and choose what to do next. Building on the emerging System One paradigm, we introduce VideoJev, a family of models that cast video understanding and interaction as structured decision tasks. We adapt pretrained multimodal large language models (MLLMs) by replacing autoregressive answer decoding with a shared head that scores temporal intervals and textual options against video evidence. These scores yield event spans or answer choices, unifying temporal grounding and multiple-choice video question answering. This combines the semantic flexibility of MLLMs with efficient decisions that agents can use directly. As an interaction unfolds, new goals and intermediate results prompt further queries about the same visual history. VideoJev therefore reuses visual computation through Cached inference for queries as they arrive and Joint inference for multiple queries in a single forward pass. Across three temporal grounding benchmarks, VideoJev-4B and VideoJev-35B-A3B improve mean mIoU over their backbones by 6.7 and 10.8 points, respectively, with measured inference speedups of $2.8$-$3.1\times$. On four video QA benchmarks, both achieve performance comparable to their backbones in Thinking mode, with measured inference speedups exceeding $100\times$. These results offer a unified, reusable decision interface for composing structured visual judgments into complex, open-ended workflows.
This paper introduces a new challenge and datasets to foster research toward designing systems that can understand medical videos and provide visual answers to natural language questions. We believe medical videos may provide the best possible answers to many first aids, medical emergency, and medical education questions. Toward this, we created the MedVidCL and MedVidQA datasets and introduce the tasks of Medical Video Classification (MVC) and Medical Visual Answer Localization (MVAL), two tasks that focus on cross-modal (medical language and medical video) understanding. The proposed tasks and datasets have the potential to support the development of sophisticated downstream applications that can benefit the public and medical practitioners. Our datasets consist of 6,117 annotated videos for the MVC task and 3,010 annotated questions and answers timestamps from 899 videos for the MVAL task. These datasets have been verified and corrected by medical informatics experts. We have also benchmarked each task with the created MedVidCL and MedVidQA datasets and proposed the multimodal learning methods that set competitive baselines for future research.
Data curation plays a crucial role in training powerful Visual Language Models (VLMs). In this work, we introduce the concept of Data Metabolism and present our data-centric framework to build VLMs throughout the development lifecycle. Starting from a standard model architecture, we discuss and provide insights into two crucial development steps: data curation and iteration, forming a closed-loop system that continuously improves model performance. We show a detailed codebook on how to process existing massive datasets and build user-specific data flywheel. As a demonstration, we release a VLM, named Capybara-VL, which excels in typical multimodal tasks (e.g. , visual question answering, scientific reasoning, and text-rich tasks). Despite its relatively compact size, Capybara-VL surpasses several open-source models that are up to 10 times larger in size. Moreover, it achieves results that are on par with those of several leading proprietary models, demonstrating its remarkable competitiveness. These results highlight the power of our data-centric framework and the potential of training smaller and more efficient VLMs.
Compositionality is a key strategy for addressing combinatorial complexity and the curse of dimensionality. Recent work has shown that compositional solutions can be learned and offer substantial gains across a variety of domains, including multi-task learning, language modeling, visual question answering, machine comprehension, and others. However, such models present unique challenges during training when both the module parameters and their composition must be learned jointly. In this paper, we identify several of these issues and analyze their underlying causes. Our discussion focuses on routing networks, a general approach to this problem, and examines empirically the interplay of these challenges and a variety of design decisions. In particular, we consider the effect of how the algorithm decides on module composition, how the algorithm updates the modules, and if the algorithm uses regularization.
We present a novel framework for analyzing and interpreting electron microscopy images in semiconductor manufacturing using vision-language instruction tuning. The framework employs a unique teacher-student approach, leveraging pre-trained multimodal large language models such as GPT-4 to generate instruction-following data for zero-shot visual question answering (VQA) and classification tasks, customizing smaller multimodal models (SMMs) for microscopy image analysis, resulting in an instruction-tuned language-and-vision assistant. Our framework merges knowledge engineering with machine learning to integrate domain-specific expertise from larger to smaller multimodal models within this specialized field, greatly reducing the need for extensive human labeling. Our study presents a secure, cost-effective, and customizable approach for analyzing microscopy images, addressing the challenges of adopting proprietary models in semiconductor manufacturing.
Document visual question answering (DocVQA) pipelines that answer questions from documents have broad applications. Existing methods focus on handling single-page documents with multi-modal language models (MLMs), or rely on text-based retrieval-augmented generation (RAG) that uses text extraction tools such as optical character recognition (OCR). However, there are difficulties in applying these methods in real-world scenarios: (a) questions often require information across different pages or documents, where MLMs cannot handle many long documents; (b) documents often have important information in visual elements such as figures, but text extraction tools ignore them. We introduce M3DocRAG, a novel multi-modal RAG framework that flexibly accommodates various document contexts (closed-domain and open-domain), question hops (single-hop and multi-hop), and evidence modalities (text, chart, figure, etc.). M3DocRAG finds relevant documents and answers questions using a multi-modal retriever and an MLM, so that it can efficiently handle single or many documents while preserving visual information. Since previous DocVQA datasets ask questions in the context of a specific document, we also present M3DocVQA, a new benchmark for evaluating open-domain DocVQA over 3,000+ PDF documents with 40,000+ pages. In three benchmarks (M3DocVQA/MMLongBench-Doc/MP-DocVQA), empirical results show that M3DocRAG with ColPali and Qwen2-VL 7B achieves superior performance than many strong baselines, including state-of-the-art performance in MP-DocVQA. We provide comprehensive analyses of different indexing, MLMs, and retrieval models. Lastly, we qualitatively show that M3DocRAG can successfully handle various scenarios, such as when relevant information exists across multiple pages and when answer evidence only exists in images.
Multimodal large language models (MLLMs) have significantly advanced tasks like caption generation and visual question answering by integrating visual and textual data. However, they sometimes produce misleading or hallucinate content due to discrepancies between their pre-training data and real user prompts. Existing approaches using Direct Preference Optimization (DPO) in vision-language tasks often rely on strong models like GPT-4 or CLIP to determine positive and negative responses. Here, we propose a new framework in generating synthetic data using a reward model as a proxy of human preference for effective multimodal alignment with DPO training. The resulting DPO dataset ranges from 2K to 9K image-text pairs, was evaluated on LLaVA-v1.5-7B, where our approach demonstrated substantial improvements in both the trustworthiness and reasoning capabilities of the base model across multiple hallucination and vision-language benchmark. The experiment results indicate that integrating selected synthetic data, such as from generative and rewards models can effectively reduce reliance on human-annotated data while enhancing MLLMs' alignment capability, offering a scalable solution for safer deployment.
Despite their remarkable progress in multimodal understanding tasks, large vision language models (LVLMs) often suffer from "hallucinations", generating texts misaligned with the visual context. Existing methods aimed at reducing hallucinations through inference time intervention incur a significant increase in latency. To mitigate this, we present SPIN, a task-agnostic attention-guided head suppression strategy that can be seamlessly integrated during inference, without incurring any significant compute or latency overhead. We investigate whether hallucination in LVLMs can be linked to specific model components. Our analysis suggests that hallucinations can be attributed to a dynamic subset of attention heads in each layer. Leveraging this insight, for each text query token, we selectively suppress attention heads that exhibit low attention to image tokens, keeping the top-K attention heads intact. Extensive evaluations on visual question answering and image description tasks demonstrate the efficacy of SPIN in reducing hallucination scores up to 2.7x while maintaining F1, and improving throughput by 1.8x compared to existing alternatives. Code is available at https://github.com/YUECHE77/SPIN.
본 논문은 자율 주행을 위한 비전-언어 기초 모델을 향한 초기 단계인 Qwen-Drive-1.0을 제시한다. Qwen-Drive-1.0은 사전학습된 비전-언어 모델(VLM)의 아키텍처를 유지한 채 3D 인식, 시각적 질의응답(visual question answering), 모션 플래닝(motion planning)을 하나의 통합 프레임워크에 결합한다. 외부 조감도(bird's-eye-view, BEV) 인식 헤드는 3D 객체 검출, 의미 점유(semantic occupancy) 예측, BEV 맵 분할을 공동으로 수행한다. 이 헤드는 공유 표현에서 접근 가능한 3D 정보를 탐지하는 프로브(probe) 역할을 하며, 3D 장면 구조에 대한 명시적이고 검사 가능한 인터페이스를 제공한다. Planning Expert는 공유 VLM 표현을 조건으로 미래 ego 궤적을 생성한다. 단계적 학습 절차는 운전 감독 신호와 범용 비전-언어 데이터를 결합하여 운전 특화 역량을 습득하면서, 폭넓은 시각 이해와 인스트럭션 따르기(instruction-following) 능력을 보존하는 데 기여한다. 실험 결과, 강한 3D 인식과 운전 장면 이해를 보이면서도 일반적인 비전-언어 역량을 대체로 유지함을 보여 준다. 개방 루프(open-loop), 의사 폐쇄 루프(pseudo-closed-loop), 폐쇄 루프(closed-loop) 설정에 걸친 종합 평가는 또한 매우 경쟁력 있는 모션 플래닝 성능을 나타낸다.
교차 모달 사고의 연쇄(Interleaved-Modal Chain-of-Thought, I-MCoT)는 시각적 질의응답(VQA)과 같은 비전-언어 추론을 발전시킨다. 이 패러다임은 입력 이미지에서 특별히 선택된 시각적 증거를 비전-언어 모델(VLM)의 컨텍스트에 통합하여, 모델이 이러한 세부 사항에 추론 논리를 그라운딩할 수 있게 한다. 따라서 I-MCoT 프레임워크의 효과는 무엇을 볼지(증거 선택)와 언제 볼지(삽입 트리거)를 식별하는 데 달려 있다. 그러나 기존 방법들은 두 측면 모두에서 부족하다. 첫째, 선택 측면에서 기존 방법들은 어텐션 신호에 의존하는데, 이는 특히 간결한 텍스트 쿼리와 정보가 풍부한 이미지 사이의 심각한 세분성 불균형 하에서 신뢰할 수 없다. 둘째, 트리거 측면에서 정적 트리거를 채택하여 VLM의 시각적 증거에 대한 동적 수요를 포착하지 못한다. 이를 위해 우리는 증거 선택과 삽입 트리거를 모두 개선하기 위해 새로운 I-MCoT 프레임워크인 능동적 정보 기반 다중 모달 사고의 연쇄(AIM-CoT)를 제안한다: (1) 텍스트 컨텍스트 강화를 통해 세분성 불균형을 완화하는 컨텍스트 강화 어텐션 맵 생성(CAG); (2) 정보 수색(information foraging) 과정을 통해 가장 정보가 풍부한 증거를 선제적으로 선택하는 능동적 시각 탐색(AVP); (3) VLM의 어텐션이 텍스트에서 시각적 컨텍스트로 이동할 때 삽입을 정확히 활성화하는 동적 어텐션 전환 트리거(DAT). 세 개의 벤치마크와 네 개의 백본에 걸친 실험은 AIM-CoT의 일관된 우수성을 보여준다. 코드는 https://anonymous.4open.science/r/AIMCoT 에서 제공된다.