arXiv:2406.18253

On the Role of Visual Grounding in VQA

Daniel Reich, Tanja Schultz

제출 2024-06-26

원문 초록

Visual Grounding (VG) in VQA refers to a model's proclivity to infer answers based on question-relevant image regions. Conceptually, VG identifies as an axiomatic requirement of the VQA task. In practice, however, DNN-based VQA models are notorious for bypassing VG by way of shortcut (SC) learning without suffering obvious performance losses in standard benchmarks. To uncover the impact of SC learning, Out-of-Distribution (OOD) tests have been proposed that expose a lack of VG with low accuracy. These tests have since been at the center of VG research and served as basis for various investigations into VG's impact on accuracy. However, the role of VG in VQA still remains not fully understood and has not yet been properly formalized. In this work, we seek to clarify VG's role in VQA by formalizing it on a conceptual level. We propose a novel theoretical framework called "Visually Grounded Reasoning" (VGR) that uses the concepts of VG and Reasoning to describe VQA inference in ideal OOD testing. By consolidating fundamental insights into VG's role in VQA, VGR helps to reveal rampant VG-related SC exploitation in OOD testing, which explains why the relationship between VG and OOD accuracy has been difficult to define. Finally, we propose an approach to create OOD tests that properly emphasize a requirement for VG, and show how to improve performance on them.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.11454cs.CV공통 태그 Visual Grounding, Visual Question Answering (VQA)공식 코드 · Papers with Code

HumaniBench: A Human-Centric Framework for Large Multimodal Models Evaluation

대규모 멀티모달 모델(LMM)은 현재 많은 비전-언어 벤치마크에서 뛰어난 성과를 보이고 있으나, 공정성, 윤리성, 공감능력, 포용성 등 인간 중심의 기준에서는 여전히 어려움을 겪고 있으며, 이는 인간의 가치와 정렬하는 데 핵심적인 요소입니다. 본 논문에서는 HumaniBench를 소개합니다. HumaniBench는 3만 2천 개의 실제 이미지-질문 쌍으로 구성된 종합 벤치마크로, 확장 가능한 GPT4o 지원 파이프라인을 통해 주석이 달렸으며 도메인 전문가들에 의해 철저히 검증되었습니다. HumaniBench는 공정성, 윤리성, 이해력, 추론, 언어 포용성, 공감능력, 견고성 등 7가지 인간 중심 AI(HCAI) 원칙을 평가하며, 개방형 및 폐쇄형 시각 질문 응답(VQA), 다국어 QA, 시각적 그라운딩, 공감적 캡셔닝, 견고성 테스트 등 7가지 다양한 과제를 포함합니다. 15개의 최신 LMM(오픈소스 및 폐쇄소스)을 벤치마킹한 결과, 독점 모델이 대체로 우위를 보이나 견고성과 시각적 그라운딩에서는 약점을 드러냈습니다. 일부 오픈소스 모델은 정확성과 인간 정렬 원칙 준수 간의 균형을 맞추는 데 어려움을 겪고 있습니다. HumaniBench는 HCAI 원칙을 중심으로 설계된 최초의 벤치마크로, 정렬 격차를 진단하고 LMM이 정확하면서도 사회적으로 책임 있는 행동을 하도록 안내하는 엄격한 테스트베드를 제공합니다. 데이터셋, 주석 프롬프트, 평가 코드는 https://vectorinstitute.github.io/HumaniBench 에서 확인하실 수 있습니다.

arXiv:2610.13636v1cs.CV공통 태그 Visual Grounding, Visual Question Answering (VQA)

원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹

Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering

그라운디드 원격 탐사 시각적 질의응답(grounded remote sensing visual question answering)에서 모델은 텍스트 답변을 생성하고 이미지 내 관련 객체를 그라운딩(grounding) 근거로 식별합니다. 기존 평가는 답변의 정확성과 위치 특정(localization) 품질을 측정하지만, 답변-그라운딩 일관성을 직접적으로 평가하지는 않습니다. 본 연구에서는 근거 지지(evidence support), 즉 그라운딩 근거가 모델 자신의 답변을 뒷받침하는지 여부를 통해 이러한 일관성을 평가하는 답변-근거 지지 프로토콜(AESP)을 제안합니다. AESP는 존재 유무, 개수 세기, 비교 질문에 대해 태스크별 규칙을 적용합니다. 나아가 질문, 참조 답변, 모든 관련 객체 수준 주석을 포함하는 15,027개 샘플로 구성된 Grounded Remote Sensing Visual Question Answering(G-RSVQA) 벤치마크를 구축합니다. 7개의 그라운디드 비전-언어(vision-language) 모델에 대한 실험 결과, 세 가지 질문 유형 모두에서 근거 지지 실패가 나타남을 확인했습니다. 근거 평가 부분집합에서 정답의 최대 50.82%는 제공된 그라운딩 근거에 의해 뒷받침되지 않았습니다.

arXiv:2605.12882v2cs.CL공통 태그 Visual Grounding, Visual Question Answering (VQA)

CiteVQA: 신뢰 가능한 문서 지능을 위한 근거 귀속 벤치마킹

CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence

멀티모달 대규모 언어 모델(MLLM)은 문서 이해(document understanding) 능력을 크게 향상시켰지만, 현재의 Doc-VQA 평가는 최종 답변만 채점하고 이를 뒷받침하는 근거(evidence)는 검증하지 않는다. 이러한 답변 전용(answer-only) 방식은 중요한 실패 유형을 숨긴다: 모델이 정답에 도달하더라도 잘못된 구절(passage)에 근거를 두는 경우가 있으며, 이는 모든 결론이 특정 소스 영역까지 추적 가능해야 하는 법률, 금융, 의료와 같은 고위험 영역에서 중대한 위험이 된다. 이를 해결하기 위해 우리는 CiteVQA를 소개한다. 이는 모델이 각 답변과 함께 요소 수준(element-level)의 바운딩 박스(bounding-box) 인용을 반환하도록 요구하고, 둘을 함께 평가하는 벤치마크이다. CiteVQA는 7개 도메인과 2개 언어에 걸친 711개의 PDF에서 추출한 1,897개의 질문으로 구성되며, 문서당 평균 40.6페이지를 포함한다. 충실도(fidelity)와 확장성(scalability)을 보장하기 위해, 정답 인용(ground-truth citation)은 마스킹 제거(masking ablation)를 통해 핵심 근거를 식별하고 다단계 품질 관리(multi-stage quality control)를 적용하는 자동화 파이프라인을 통해 생성된다. 우리 평가의 핵심은 엄격한 귀속 정확도(Strict Attributed Accuracy, SAA)로, 답변과 인용된 영역이 모두 정확한 경우에만 예측을 인정한다. 20개의 MLLM을 감사(audit)한 결과, 모델이 정답을 내면서도 잘못된 영역을 인용하는 광범위한 귀속 환각(Attribution Hallucination) 현상이 드러났다. 가장 강력한 시스템(Gemini-3.1-Pro-Preview)조차 SAA가 76.0에 불과했고, 가장 강력한 오픈소스 MLLM은 단 22.5에 그쳤다. 결론적으로, 신뢰 가능한 문서 지능을 향해 CiteVQA는 답변 전용 평가가 간과하는 신뢰성 격차(reliability gap)를 드러내며, 이를 해소하는 데 필요한 도구를 제공한다. 저장소는 https://github.com/opendatalab/CiteVQA 에서 확인할 수 있다.

arXiv:2606.12590v2cs.CV공통 태그 Visual Grounding, Visual Question Answering (VQA)

의료 대규모 비전-언어 모델에서의 세분화된 선호 최적화 분석 및 개선

Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs

선호 최적화(preference optimization)는 의료 대규모 비전-언어 모델(LVLM)의 사후학습(post-training)에 점점 더 널리 사용되고 있으나, 임상적 정확성을 정의하는 단위보다 훨씬 거친 단위(granularity)에서 동작합니다. 한 응답이 다른 응답보다 임상적으로 더 나은지 여부는 통상적으로 해부학적 좌우 구분(laterality)이나 병변 속성과 같은 소수의 결정적인 어구, 그리고 각 어구가 질문이 다루는 이미지 영역에 의해 뒷받침되는지 여부에 달려 있습니다. 반면 직접 선호 최적화(DPO) 및 그 변형들은 비교를 단일 응답 수준의 스칼라로 축소하므로, 어떤 토큰(token)이 임상적 의미를 담고 있는지를 구조적으로 표현할 수 없는 목적 함수입니다. 본 연구에서는 이러한 불일치가 치명적임을 보입니다. 비교 대상 목적 함수 중 응답 수준 DPO는 임상적 정확성을 결정짓는 어구에 가장 낮은 보상(reward)을 부여하며, 선호 응답을 지도학습 기준(supervised reference)으로 대체할 경우 모델(model)이 보상 해킹 지름길로 악용하는 문체적 격차가 발생하여 선호 정확도는 높아지지만 임상적 정확도는 향상되지 않습니다. 임상적 비교에서 전체 피드백을 포착하기 위해, 본 논문에서는 세분화된 정규화 의료 선호 최적화(FiRe-MPO)를 제안합니다. 선호 쌍은 모델 자체 생성물을 최소한으로 편집하여 선호 응답과 거부 응답이 임상적으로 결정적인 구간(span)에서만 차이 나도록 구성되며, 각 응답은 뒷받침하는 시각적 근거를 감춘 병변 손상 이미지와 짝지어집니다. 구간 단위로 국소화된 보상은 희소(sparse)하므로, 양방향 토큰 단위 KL 정규화기를 통해 최적화를 안정화합니다. 의료 시각적 질문 답변(VQA) 및 판독문 생성 전반에 걸쳐, FiRe-MPO는 의료 특화 및 범용으로 널리 사용되는 두 가지 LVLM에서 DPO, RRPO 및 경쟁 세분화 목적 함수들의 성능을 능가하는 동시에, 시각적 그라운딩(grounding)을 강화하고 대안 대비 의료 어구에 더 많은 보상을 부여합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.