arXiv:2607.27830v1 cs.CV

한 번의 사고로 충분하다: 고해상도 VQA를 위한 중간층 증거 라우팅

Thinking Once Is Enough: Intermediate-Layer Evidence Routing for High-Resolution VQA

Zhongkuan Mao, Xianjie Liu, Tianyu Meng, Yidong Wang, Wenzhuo Zhao, Ronghao Xian, Yao Jiang, Fei Shen, Junfeng Fang, Yong Dai, Yi Zhang, Keren Fu

제출 2026-07-30

한국어 초록

고해상도 시각적 질의응답(HR-VQA)은 종종 불충분한 증거 획득의 문제로 다루어지며, 이로 인해 실패한 멀티모달 대규모 언어 모델은 자르기(cropping), 재인코딩 또는 다중 라운드 검색을 통해 이미지를 다시 검사해야 합니다. 본 연구에서는 이러한 관점이 불완전함을 보여줍니다. 많은 경우에서 세밀한 증거는 이미 시각적 인코딩 과정에서 살아남아 중간층(intermediate-layer) 라우팅 윈도우 내에서 식별 가능하고 영향력을 갖추게 되지만, 이후 답변 생성 전에 희석됩니다. 우리는 이러한 윈도우에서 질문 조건부 어텐션(attention)을 재구성하고, 핵심 개체 토큰과 압축된 배경 컨텍스트를 보존하며, 추가적인 시각적 인코딩 없이 이 증거를 후속 층으로 라우팅하는 학습(training) 불필요 단일 시각 패스(training-free, single-visual-pass) 증거 라우팅 방법인 Thinking-Once를 제안합니다. 5개의 베이스 모델 전반에서 Thinking-Once는 해당 기본 설정을 일관되게 개선하거나 동등한 성능을 보였으며, 평균 최대 메모리를 약 4GB 줄이면서 V$^*$Bench, HRBench-4K, HRBench-8K의 평균 점수를 각각 +3.1점, +3.0점, +2.7점 향상시켰습니다. Qwen2.5-VL-7B에서는 세 벤치마크 점수를 +9.9점, +4.6점, +5.5점 개선하여 벤치마크 간 평균 점수를 72.5점에서 79.1점으로 끌어올렸습니다. ZwZ-8B 베이스 모델 적용 시 Thinking-Once는 평균 점수 82.7점에 도달합니다. 11개의 오픈소스 HR-VQA 베이스라인과 비교했을 때, 세 벤치마크 평균 모두에서 최고 또는 공동 최고 점수를 기록하고 전체 평균에서도 최고 성능을 달성했습니다. 예를 들어 DeepScan과 비교하여 벤치마크 간 평균 점수를 77.8점에서 79.1점으로 개선하는 동시에 V$^*$Bench 추론(inference) 시간을 97.2% 단축했습니다. 이러한 결과는 새로운 시각적 입력을 반복적으로 획득하기보다 이미 인코딩된 증거를 라우팅함으로써 HR-VQA를 개선할 수 있음을 보여줍니다. 코드는 부록에서 확인할 수 있습니다.

원문 초록

High-resolution visual question answering (HR-VQA) is often treated as a problem of insufficient evidence acquisition, where failing multimodal large language models must inspect images again through cropping, re-encoding, or multi-round search. We show that this view is incomplete: in many cases, fine-grained evidence has already survived visual encoding and become identifiable and influential within an intermediate-layer routing window, but is later diluted before answer generation. We propose Thinking-Once, a \textbf{training-free, single-visual-pass} evidence-routing method that reconstructs question-conditioned attention at this window, preserves core entity tokens and compact background context, and routes this evidence to later layers without extra visual encoding. Across five base models, Thinking-Once consistently improves or matches the corresponding base setting, increasing the average scores on V$^*$Bench, HRBench-4K, and HRBench-8K by \textit{+3.1}, \textit{+3.0}, and \textit{+2.7} points while reducing the average peak memory by about 4,GB. On Qwen2.5-VL-7B, it improves the three benchmarks by \textit{+9.9}, \textit{+4.6}, and \textit{+5.5} points, raising the cross-benchmark mean from 72.5 to 79.1. With the ZwZ-8B base model, Thinking-Once reaches a mean score of 82.7. Against 11 open-source HR-VQA baselines, it obtains the best or tied-best score on all three benchmark averages and the best overall mean; for example, compared with DeepScan, it reduces V$^*$Bench inference time by \textbf{97.2\%} while improving the cross-benchmark mean from 77.8 to 79.1. These results show that HR-VQA can be improved by routing already encoded evidence rather than repeatedly acquiring new visual inputs. Code is available in the appendix.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.27830v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.