보지 못한 것인가, 알지 못한 것인가? 비전-언어 모델의 오류 원인 규명
Failing to See or Failing to Know? Attributing Errors in Vision-Language Models
한국어 초록
비전-언어 모델(VLM)은 선명한 이미지 내 개체를 인식할 수 있음에도, 직접 관찰 가능한 범위를 넘어선 사실적 지식을 요구하는 질문에 답할 때 여전히 실패하곤 합니다. 기존 연구들은 개별 실패 양상을 단편적으로 조사하거나 오답을 단순한 이분법적 실패로 취급했습니다. 본 연구에서는 지식 집약적 시각적 질의응답에서의 오류를 모델별 작동 결과로 체계화하는 트리 구조의 프레임워크를 제안합니다. 두 개의 데이터셋과 4개의 VLM에 걸쳐 일관된 작동 결과 분포를 확인했습니다. 즉, 일부 오류는 개체 인식 이전에 발생하는 반면, 다른 오류는 관련 개체가 인식된 후에도 지속됩니다. 시각적 토큰 표현은 인식 관련 판단에 가장 유용한 정보를 제공합니다. 사실 접근에 대한 귀인은 여전히 어렵고 약한 신호만을 보이지만, 프롬프트 은닉 상태는 답변 성공 여부를 더 효과적으로 예측합니다. 이러한 생성 이전 단계의 신호는 이미지 복원, 개체 지원, 질문 재작성, 사실적 근거 제공을 포함한 맞춤형 개입으로 유도하는 원인 분석 기반 라우팅을 지원합니다.
원문 초록
Vision-language models (VLMs) can recognize entities in clear images yet still fail when answering questions that require factual knowledge beyond what is directly observable. Prior work has either examined individual failure modes in isolation or treated incorrect answers as monolithic, binary failures. We propose a tree-structured framework that organizes failures in knowledge-intensive visual question answering into model-specific operational outcomes. Across two datasets and four VLMs, we observe consistent distributions of operational outcomes: some failures occur before entity recognition, while others persist after the relevant entity is recognized. Visual token representations are most informative for recognition-related decisions. Prompt hidden states predict answer success more effectively, although factual-access attribution remains difficult and exhibits only a weak signal. These pre-generation signals support attribution-guided routing to targeted interventions, including image repair, entity support, question rewriting, and factual evidence.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.04683v4제출 시각 미확인
- arXiv:2607.04683v2제출 시각 미확인
- arXiv:2607.04683v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.