arXiv:2502.16842

Exploring Causes and Mitigation of Hallucinations in Large Vision Language Models

Yaqi Sun, Kyohei Atarashi, Koh Takeuchi, Hisashi Kashima

제출 2025-02-24

원문 초록

Large Vision-Language Models (LVLMs) integrate image encoders with Large Language Models (LLMs) to process multi-modal inputs and perform complex visual tasks. However, they often generate hallucinations by describing non-existent objects or attributes, compromising their reliability. This study analyzes hallucination patterns in image captioning, showing that not all tokens in the generation process are influenced by image input and that image dependency can serve as a useful signal for hallucination detection. To address this, we develop an automated pipeline to identify hallucinated objects and train a token-level classifier using hidden representations from parallel inference passes-with and without image input. Leveraging this classifier, we introduce a decoding strategy that effectively controls hallucination rates in image captioning at inference time.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03445v1cs.CV공통 태그 Image Captioning, Hallucination

오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.

arXiv:2609.27890v1cs.CV공통 태그 Image Captioning, Hallucination

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2607.21611v1cs.HC공통 태그 Image Captioning, Hallucination

STEM 분야 이미지 설명 기법에 대한 체계적 설문

A Systematic Survey on Image Description Techniques for STEM Domains

STEM(과학, 기술, 공학, 수학) 분야에서 시각 데이터의 확산은 시각 장애 또는 저시력을 가진 개인에게 접근성 장벽을 제시한다. 인공지능(AI)의 최근 발전은 STEM 이미지에 대한 텍스트 설명을 생성할 새로운 기회를 제공하지만, 연구 환경은 파편화되어 있으며 실제 사용자에 대한 영향은 제한적이다. 본 체계적 설문은 접근성과 인간-컴퓨터 상호작용(HCI)에 특히 초점을 맞춰 STEM 시각 자료를 설명하기 위한 AI 기반 기법에 관한 동료 심사 연구 20편을 검토한다. PRISMA 방법론과 ROBIS 기반 바이어스 위험 평가를 따르며, 본 리뷰는 (i) 대상 STEM 시각 자료의 유형, (ii) 사용된 AI 및 머신러닝 아키텍처, (iii) 채택된 데이터셋과 평가 지표, (iv) 설명이 전달되는 상호작용 방식을 분석한다. 분석 결과, 정적이고 일회성 alt text에서 대화형 인터페이스, 키보드 탐색, 오디오 또는 촉각 피드백을 통합하는 대화형·멀티모달 시스템으로의 전환을 보여준다. 그러나 사실 오류와 환각, 시각 장애 및 저시력 사용자와 공동 설계된 접근성 우선 데이터셋의 부족, 인지된 유용성과 신뢰를 제대로 포착하지 못하는 자동 텍스트 중첩 지표에 대한 과도한 의존 등 중요한 과제가 남아 있다. 본 설문은 HCI를 위한 주요 연구 방향을 정리하며 마무리한다. 여기에는 사용자 제어 가능한 상세 수준(verbosity), 설명 가능하고 검증 가능한 AI 파이프라인, 접근 가능한 설명 도구를 주류 STEM 저작 및 학습 환경에 통합하는 것이 강조된다.

arXiv:2607.21022v1cs.CV공통 태그 Image Captioning, Hallucination

ProCap: 충실하고 포괄적인 비디오 캡셔닝을 위한 돌출성 기반 객체 보정

ProCap: Prominence-guided Object Rectification for Faithful and Comprehensive Video Captioning

비디오 캡셔닝 품질을 개선하려면 일반적으로 대규모 비전-언어 모델을 재학습해야 하는데, 이는 비용이 많이 들고 종종 현실적이지 않은 요구사항이다. 기존의 학습 없는 대안은 대신 탐지된 객체에 캡션을 그라운딩하여 환각을 억제하지만, 어떤 객체가 가장 중요한지 우선순위를 매기지 않은 채 단 한 번의 고정된 보정 패스만 적용하여 의미적으로 중요한 내용이 누락된다. 우리는 기본 캡셔닝 모델의 파라미터를 수정하지 않고 두 한계를 모두 극복하는 돌출성 인식 반복적 사후 보정 프레임워크를 제안한다. 경량 점수 매김 메커니즘이 공간적 현저성, 시간적 지속성, 관계적 역학에 따라 탐지된 객체의 순위를 매기고, 반복적이며 프롬프트 기반의 정제 루프가 이 순위를 활용하여 여러 라운드에 걸쳐 누락되었으나 문맥상 관련 있는 객체를 캡션에 점진적으로 주입한다. MSVD와 MSR-VTT에서 객체 그라운딩 자동 지표, 110명 참가자 인간 연구, ChatGPT 및 Gemini에 대한 정성적 비교를 통해 프레임워크를 검증한다. 인간 평가에서 이 프레임워크는 강력한 사전학습 캡셔닝 기준선 대비 지각된 완전성을 최대 48% 향상시키고 환각을 최대 45% 감소시키며, 이 모든 것은 재학습이나 참조 캡션 없이 이루어진다. 이러한 결과는 돌출성 기반 반복적 보정을 더 완전하고 신뢰할 수 있는 비디오 캡셔닝으로 이끄는 경량·확장 가능·모델 독립적인 경로로 자리매김하며, 접근성, 검색, 기타 멀티미디어 이해 응용과 직접적인 관련이 있다.

arXiv:2607.15216v1cs.CV공통 태그 Image Captioning, Hallucination

Symbal: 모델 생성 캡션의 체계적 불일치 탐지

Symbal: Detecting Systematic Misalignments in Model-Generated Captions

멀티모달 대규모 언어 모델(MLLM)은 이미지 캡션을 생성할 때 종종 오류를 도입하여, 정렬되지 않은 이미지-텍스트 쌍을 만든다. 본 연구는 체계적 불일치(systematic misalignments)라고 부르는 일종의 캡셔닝 오류에 초점을 맞춘다. 이는 MLLM이 생성한 캡션에서 반복적으로 나타나는 오류가 짝이 맞는 이미지 내 특정 시각적 특징(feature)의 존재와 밀접하게 연관되는 경우를 말한다. MLLM이 생성한 캡션을 포함한 비전-언어(vision-language) 데이터셋(dataset)이 주어졌을 때, 본 연구의 목표는 이러한 오류를 탐지하는 것이며, 이 과제를 체계적 불일치 탐지(systematic misalignment detection)라고 부른다. 첫 번째 핵심 기여로, 기성 파운데이션 모델(foundation models)을 활용한 구조화된 이단계(dual-stage) 설정으로 체계적 불일치를 식별하고 결과를 자연어로 요약하는 Symbal을 제안한다. 두 번째 핵심 기여로, 제안한 과제에서 자동화 방법을 평가하기 위해 설계된 벤치마크(benchmark)인 SymbalBench를 도입한다. SymbalBench는 자연 이미지와 의료 이미지라는 두 도메인에서 수집한 170만 개의 이미지-텍스트 쌍으로 구성되며, 주석이 달린 체계적 불일치를 포함하는 420개의 비전-언어 데이터셋(dataset)으로 조직되어 있다. Symbal은 이 벤치마크(benchmark)에서 강력한 성능을 보이며, 데이터셋(dataset)의 63.8%에서 체계적 불일치를 올바르게 식별하여, 가장 가까운 기준선(baseline) 대비 약 4배의 개선을 달성한다. SymbalBench에 대한 평가를 실제 환경 평가로 보완하여, (1) Symbal이 네 가지 MLLM이 생성한 캡션에서 체계적 불일치를 정확히 드러낼 수 있음을, (2) Symbal이 기성 이미지-캡션 데이터셋을 감사(auditing)하는 강력한 도구임을 보여준다. 궁극적으로, 제안하는 새로운 과제, 방법, 벤치마크는 기반 MLLM에 대한 접근 없이도 MLLM이 생성한 캡션을 감사하고 치명적인 오류를 식별하는 데 사용자를 돕는다. 코드는 https://github.com/Stanford-AIMI/Symbal 에서 이용할 수 있다.

arXiv:2607.09654v1cs.CV공통 태그 Image Captioning, Hallucination

10년간 비전-언어 AI 모델의 정확도 및 시각-인지 오류 변화 연구

Evolution of Accuracy and Visual-Cognitive Errors in a Decade of Vision-Language AI Models

비전-언어 모델(VLM)은 지난 10년간 시각적 추론 분야에서 눈부신 발전을 이루었다. 기존의 대부분의 평가는 복잡한 인간 상호작용이나 행동을 담지 못하는 단순한 장면(MS-COCO)을 활용하고, 소수의 비정제 인간 설명문만을 벤치마크로 사용했으며, 모델의 오류 유형 파악에는 초점을 맞추지 않았다. 본 연구에서는 복잡한 사회적 상호작용/행동을 묘사한 이미지 100장으로 구성된 Complex Social Behavior(CSB) 데이터셋을 소개한다. 우리는 10년(2017~2025)에 걸친 VLM(멀티모달 대규모 언어 모델(MLLM) 이전 모델 4종 및 MLLM 5종)의 장면 설명 발전 양상을 분석한다. CSB 데이터셋과 MS-COCO 샘플에 대해 골드 스탠다드 대비 각 모델 및 인간 설명문 20개의 정확도를 평가하였다. 또한 객체 검출(object detection), 인식(recognition), 환각(hallucination), 장면 이해(scene understanding), 공간적 의존성(spatial dependence)의 다섯 가지 시각-인지 오류 유형을 분석하였다. CSB 데이터셋에서는 MS-COCO보다 장면 설명 정확도의 향상이 더욱 두드러졌으며, MLLM 이전 모델들은 최하위 인간 설명문보다도 훨씬 낮은 정확도를 보인 반면, MLLM은 최상위 인간 설명문과 유사한 수준의 정확도를 달성하였다. 또한 MLLM은 단순한 MS-COCO 장면과 복잡한 행동을 묘사한 장면(CSB) 간의 장면 설명 정확도 격차를 사실상 해소한 것으로 나타났다. MLLM은 인간과 다른 이미지 영역에 의존하여 장면을 설명하는 경우(공간적 의존성 오류)를 제외한 거의 모든 오류 유형을 제거하였다. 아울러 검출, 인식, 환각 오류가 장면 설명 정확도에 가장 큰 영향을 미치는 것으로 확인되었다. 이러한 결과를 종합하면, 본 연구는 비전-언어 모델이 지난 10년간 어떻게 발전해 왔는지를 보다 심층적으로 평가한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.