질문으로 돌아가기: 텍스트 토큰을 통한 시각적 방해 요소 추적
Back to the Question: Tracing Visual Distraction Through Text Tokens
한국어 초록
시각 세계는 어수선하며, 견고한 비전-언어 추론을 위해서는 무관한 정보를 무시해야 한다. 그러나 비전-언어 모델(VLM)은 방해 요소가 존재하는 상태에서 대상 이미지에 관한 질문에 답할 때 상당한 정확도 손실을 겪을 수 있다. 기존 완화 방법은 관련 이미지를 선택하거나 이미지 간 정보 교환을 제한하는 데 초점을 둔다. 방해 이미지를 포함하도록 변형한 다섯 가지 인식 벤치마크에서 공개된 7-8B 규모 VLM 세 종을 체계적으로 분석한 결과, 모델이 관련 이미지를 올바르게 식별하는 경우에도 방해 요소가 정확도를 떨어뜨림을 보이며, 이는 선택만으로는 충분하지 않음을 시사한다. 이러한 간섭의 메커니즘을 이해하기 위해 Qwen2.5-VL에서 어텐션 분석과 표적 녹아웃을 결합하였고, 중간 계층의 방해 요소-텍스트 연결이 무관한 시각 정보가 추론에 영향을 미치는 경로임을 확인하였다. 또한 방해 요소가 있을 때와 없을 때의 답변 분포가 일관되도록 유도하는 답변 일관성 정규화를 도입한다. 이 목적 함수는 어텐션을 직접 제약하지 않으면서도 질문 토큰에서 방해 이미지로 향하는 중간 계층 어텐션을 감소시키며, 이는 분석에서 제시된 경로와 일치한다. 방해 요소가 다섯 개일 때, 제안 방법은 다섯 벤치마크 전반에서 Qwen2.5-VL 기준선 대비 순환 정확도를 평균 16 퍼센트포인트 향상시키면서 단일 이미지 성능을 유지한다.
원문 초록
The visual world is cluttered: robust vision-language reasoning requires ignoring irrelevant information. Yet vision-language models (VLMs) can suffer substantial accuracy losses when answering questions about a target image with distractors present. Existing mitigations focus on selecting relevant images or limiting information exchange between images. Through a systematic analysis of three open 7-8B VLMs on five perception benchmarks adapted to include distractor images, we show that distractors reduce accuracy even when models correctly identify the relevant image, suggesting that selection alone is not enough. To understand the mechanism behind this interference, we combine attention analysis with targeted knockouts in Qwen2.5-VL and identify middle-layer distractor-to-text connections as a pathway through which irrelevant visual information affects reasoning. We introduce answer consistency regularization, which encourages consistent answer distributions with and without distractors. Without directly constraining attention, this objective reduces middle-layer attention from question tokens to distractor images, consistent with the pathway our analysis implicates. With five distractors, our approach improves circular accuracy by an average of 16 percentage points over the Qwen2.5-VL baseline across the five benchmarks while preserving single-image performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
25 pages, 18 figures, including appendix