다시 보기(Look Twice): 지식 기반 시각적 질의응답을 위한 학습 불필요 근거 강조 기법
Look Twice: Training-Free Evidence Highlighting for Knowledge-based Visual Question Answering
한국어 초록
지식 기반 시각적 질의응답(KB-VQA)은 멀티모달 대규모 언어 모델(MLLM)이 세분화된 시각적 단서를 식별하고 이를 검색된 텍스트 근거와 결합할 것을 요구합니다. 그러나 정보 검색은 노이즈가 있거나 부분적으로만 관련 있는 콘텐츠를 유입시키는 경우가 많으며, 이미지에는 주의를 분산시키는 시각적 영역이 포함되어 있어 사전학습된 MLLM이 실제로 정답을 뒷받침하는 근거를 간과하게 만듭니다. 이를 해결하기 위해, 우리는 모델 자체의 내부 어텐션(attention)을 명시적인 멀티모달 근거 선택 메커니즘으로 전환하는 학습 불필요(training-free) 추론(inference) 시점 프레임워크인 Look Twice(LoT)를 소개합니다. LoT는 먼저 모델의 내부 어텐션 패턴을 활용하여 질의와 관련된 이미지 영역 및 텍스트 문장을 식별하고, 어텐션 싱크(attention sink) 및 주의를 분산시키는 콘텐츠를 필터링한 후, 정답 생성 전에 선택된 근거를 명시적으로 강조하도록 입력을 재구성합니다. 이 방법은 매개변수 업데이트, 보조 모델 또는 아키텍처 수정을 필요로 하지 않습니다. 4개의 KB-VQA 벤치마크와 2B부터 38B 매개변수에 이르는 10개의 기성(off-the-shelf) MLLM 전반에 걸쳐, LoT는 평가된 모든 백본의 성능을 향상시켰으며 최대 +12.5 정확도 포인트의 평균 향상을 달성했습니다. 또한 기존의 컨텍스트 정제(context-refinement) 전략과 결합할 때 추가적인 이득을 제공하여 이미 정제된 입력에 대해서도 추가 개선을 이끌어냈습니다. 이러한 결과는 LoT가 사전학습된 MLLM이 가용한 멀티모달 근거를 더욱 정확하게 활용할 수 있도록 지원하는 일반적이고 효과적인 메커니즘임을 입증합니다. 소스 코드는 https://aimagelab.github.io/LoT/ 에서 공개되어 있습니다.
원문 초록
Knowledge-based Visual Question Answering (KB-VQA) requires Multimodal Large Language Models (MLLMs) to identify and combine fine-grained visual cues with retrieved textual evidence. However, retrieval often introduces noisy and partially relevant content, while images contain distracting visual regions, causing pretrained MLLMs to overlook the evidence that actually supports the answer. To address this, we introduce Look Twice (LoT), a training-free inference-time framework that turns the model's own internal attention into an explicit multimodal evidence-selection mechanism. LoT first leverages the model's internal attention patterns to identify query-relevant image regions and textual sentences, filters attention sinks and distracting content, and reformulates the input to explicitly highlight the selected evidence before answer generation. The method requires no parameter updates, auxiliary models, or architectural modifications. Across four KB-VQA benchmarks and ten off-the-shelf MLLMs ranging from 2B to 38B parameters, LoT improves every evaluated backbone, with average gains of up to +12.5 accuracy points. It also provides further gains when combined with established context-refinement strategies, yielding additional improvements over already refined inputs. These results establish LoT as a general and effective mechanism for enabling pretrained MLLMs to exploit available multimodal evidence more accurately. Source code is publicly available at https://aimagelab.github.io/LoT/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.01280v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.