비전-언어 모델의 객체 환각에 대한 이중 경로 회로
Dual-Pathway Circuits of Object Hallucination in Vision-Language Models
한국어 초록
비전-언어 모델(VLM)은 시각적 지각과 자연어 이해를 연결하는 뛰어난 능력을 입증하며 다양한 멀티모달 추론 작업을 가능하게 해왔습니다. 그러나 이들 모델은 입력 이미지에 없는 내용을 설명하는 객체 환각(object hallucination)을 빈번히 발생시켜 신뢰성과 해석 가능성을 저해합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 기계론적 이해(mechanistic understanding) 및 인과적 탐색을 목적으로 VLM 내 환각 관련 회로를 식별하고 특성화하는 프레임워크인 이중 경로 회로 분석(Dual-Pathway Circuit Analysis)을 제안합니다. 먼저 구조적으로 다양한 5개의 VLM에 활성화 패칭(activation patching)을 적용하여 올바른 예측을 뒷받침하는 시각적 그라운딩(visual grounding) 경로와 오류 출력을 유발하는 환각 경로를 식별합니다. 이어 경로 수준 상호작용을 특성화하기 위한 조건부 경로 분석(CPA)을 도입하여, 그라운딩 구성요소가 정답 및 환각 샘플 모두에서 강한 중복성을 유지하지만 일관된 극성 반전(polarity flip)을 겪으며 정답 샘플에서는 실제 정답(ground truth)을 지지하던 것에서 오류 샘플에서는 환각된 답변과 일치하도록 전환됨을 밝혀냅니다. 나아가 환각 경로 구성요소에 대한 표적 억제를 수행하여, 이러한 구성요소를 스케일링함으로써 정확도 손실을 최소화하면서도 객체 환각을 최대 76%까지 줄일 수 있음을 보이고, 동일한 회로가 관계 환각에는 선택적으로 전이되지만 속성 환각에는 전이되지 않음을 검증합니다. POPE-adversarial 및 AMBER 평가 결과, 식별된 회로가 여러 아키텍처 전반에 걸쳐 일관되고 인과적 개입을 지원하며 환각 유형에 따라 선택적으로 전이됨을 보여줍니다. 코드는 https://github.com/jiaxin26/DualPath-VLM 에서 확인할 수 있습니다.
원문 초록
Vision-language models (VLMs) have demonstrated remarkable capabilities in bridging visual perception and natural language understanding, enabling a wide range of multimodal reasoning tasks. However, they often produce object hallucinations, describing content absent from the input image, which limits their reliability and interpretability. To address this limitation, we propose Dual-Pathway Circuit Analysis, a framework that identifies and characterizes hallucination-related circuits in VLMs for mechanistic understanding and causal probing. We first apply activation patching across five architecturally diverse VLMs to identify a visual grounding pathway that supports correct predictions and a hallucination pathway that drives erroneous outputs. We then introduce Conditional Pathway Analysis (CPA) to characterize pathway-level interactions, revealing that grounding components remain strongly redundant in both correct and hallucinating samples but undergo a consistent polarity flip, shifting from supporting the ground truth on correct samples to aligning with the hallucinated answer on erroneous ones. We further perform targeted suppression of hallucination-pathway components, showing that scaling these components reduces object hallucination by up to 76% with minimal accuracy cost, and validate that the same circuit selectively transfers to relational but not attribute hallucination. Evaluations on POPE-adversarial and AMBER show that the identified circuits are consistent across architectures, support causal intervention, and transfer selectively across hallucination types. Code is available at https://github.com/jiaxin26/DualPath-VLM.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
인코딩되었으나 단절됨: 패칭 널 조건에서 비전-언어 모델 실패 분해하기
Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null
세 가지 비전-언어(vision-language) 모델 구조(LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) 전반에 걸쳐, 중간층 해석 가능성에 대한 보편적인 부정적 결과를 보고합니다. 세 모델 모두에 공통적인 벤치마크인 POPE에서, 중간층은 오류의 68-91%에서 정답(ground-truth)을 인코딩하고 있으나, 이 신호는 최종 예측에 인과적으로 작용하지 않습니다. 즉, 잔차 스트림(residual-stream) 패칭은 세 가지 구조 모두에서 층(layer) 수준의 비자명한 전환(flip)을 0% 나타냈으며, 세 개 중 두 개 구조에서는 헤드(head) 수준에서도 동일했습니다(Qwen: 0/12,600회 패칭된 순전파). 유일한 예외인 InternVL3의 20번 층 2번 헤드는 어휘 외(non-vocab) 자기 어텐션(self-attending) 헤드로, 그 효과는 해당 특정 헤드에 국한됩니다(p < 1e-4). 이러한 널(null) 결과에도 불구하고, 오류는 조작적으로 인식 실패(Perception Failure), 인코딩되었으나 단절됨(Encoded-but-Disconnected), 사전확률 우선(Prior-Override)이라는 세 가지 실패 모드로 구분되며, 세 구조 모두에서 60% 이상의 정확도로 학습 가능합니다. 또한 구조의 사전확률 방향은 두 가지 개입 중 어느 것이 범주별 특화 반응을 이끌어내는지 예측합니다. 우리는 오라클 라벨 하에서의 이러한 완화 효과를 실제 배포 가능한 방법이 아니라, 해당 범주들이 기저 메커니즘 차원에서 실재함을 입증하는 증거로서 보고합니다.
대규모 비전-언어 모델에서의 인지 전문가 혼합
Mixture of Cognitive Experts in Large Vision-Language Models
오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.
위양성 발견 제어 기반 시각 데이터 분할을 통한 대규모 비전-언어 모델의 객체 환각 완화
Mitigating Object Hallucination in Large Vision-Language Models via False Discovery Controlled Visual Data Splitting
대규모 비전-언어 모델(LVLM)이 시각적 입력에 의해 뒷받침되지 않는 객체를 생성하는 다중 객체 환각(hallucination)은 디코딩 과정의 시각적 불확실성으로 인해 발생하는 지속적인 난제입니다. 기존 방식들은 대조 신호를 활용하여 환각을 줄이지만, 경험적 휴리스틱에 의존하며 이미지 수준에서 위양성(false positive)을 원칙적으로 제어하지 못한다는 한계가 있습니다. 이를 해결하기 위해, 불확실성을 인식하는 시각 데이터 분할 전략으로 시각적 불확실성을 모델링하고 미러 통계량(mirror statistics)을 활용하여 디코딩 중 시각적 대조를 정량화하는 무학습(training-free) 프레임워크인 CORAL(False Discovery Rate-COntRol of HALlucination)을 제안합니다. CORAL은 대칭적으로 섭동된 쌍을 이루는 시각적 입력으로부터 미러 통계량을 계산함으로써 거짓된 객체 예측을 추정하고, 이미지당 예상되는 위양성 발견 비율을 제어하는 데이터 기반 임계값을 설정합니다. 이를 통해 실제 시각 정보에 그라운딩(grounding)된 객체에 대한 높은 검출력을 유지하면서 환각을 억제합니다. 본 프레임워크는 유연하여 여러 LVLM을 지원하며, 재학습이나 지도 없이도 환각을 완화합니다. 여러 벤치마크와 다양한 평가 지표를 활용한 광범위한 실험을 통해 CORAL이 최첨단 방법들을 일관되게 능가하며, 보다 신뢰할 수 있고 강건한 환각 제어를 제공함을 입증합니다. 코드는 https://changliu1993-cl.github.io/CORAL/ 에서 확인할 수 있습니다.
PRISM-VLM: 소형 비전-언어 모델을 위한 다축 변별 벤치마크
PRISM-VLM: A Multi-Axis Discriminative Benchmark for Compact Vision-Language Models
소형 비전-언어 모델(VLM)은 이제 멀티모달 애플리케이션의 점점 더 큰 비중을 뒷받침하고 있다. 그러나 이들을 비교하는 데 사용되는 벤치마크는 프런티어 모델 중심의 설계를 그대로 따르고 있다. 즉, 각 모델을 단일 정확도 수치로 환원함으로써, 포화된 평가 세트에서는 모델 간 격차가 좁아지고 더 어려운 평가 세트에서는 모델들이 낮은 점수대에 몰리게 된다. 본 논문에서는 반복적으로 나타나는 실패 양상(과제 품질, 행동적 견고성, 능력 병목)을 아우르는 일곱 개의 축에 따라 모든 항목을 채점하고 이를 하나의 PScore로 결합하는 다축 변별 벤치마크 PRISM-VLM을 소개한다. 항목은 15개의 공개 벤치마크에서 재활용하였다. 지난 2년간 발표된 소형 VLM들을 대상으로 한 실험에서, PScore는 항목 단위 쌍체 부트스트랩(item-level paired bootstrap) 하에서 기존의 단일 축 벤치마크보다 모델 쌍을 더 신뢰성 있게 구분하며, 이러한 벤치마크가 평균화 과정에서 가려 버리는 행동적 차이를 드러낸다. PScore가 통계적으로 구분되지 않는 모델들조차 축별 프로파일에서는 크게 갈리며, 특히 단일 프롬프트 정확도와 거의 직교하는 아첨(sycophancy) 축에서 두드러진다. 전체 파이프라인, 프롬프트, 항목별 주석을 공개할 예정이다.
낮은 CER만으로는 부족할 때: 역사적 우루과이 문서에서 비전-언어 OCR 시스템의 환각 분석
When Low CER is Not Enough: An Analysis of Hallucinations in Vision-Language OCR Systems on Historical Uruguayan Documents
광학 문자 인식(OCR)은 역사적 기록물 디지털화의 핵심 구성 요소이다. 최근 비전-언어 모델(VLM)이 전통적인 OCR 시스템의 강력한 대안으로 등장하여 표준 벤치마크에서 최첨단 성능을 달성하고 있다. 그러나 기록물 전사에 대한 이들의 적합성은 여전히 충분히 이해되지 않았다. 본 연구에서는 마이크로필름 스캔에서 유래한 우루과이 독재 시대 문서의 도전적인 수집본인 Berrutti 데이터셋에 대해 전통적인 OCR 시스템과 VLM 기반 접근법을 벤치마크한다. VLM이 문자 오류율(CER)과 단어 오류율(WER) 측면에서 전통적인 방법을 일관되게 능가하지만, 이러한 개선은 더 복잡한 그림을 가리고 있음을 보인다. 상세한 정성적 분석을 통해, 표준 지표로는 드러나지 않는 체계적 실패 모드를 밝혀낸다. 여기에는 정서법적 정규화, 허위 콘텐츠 생성, 유창성은 유지하면서 의미를 바꾸는 의미적 대체가 포함된다. 명명된 개체(named entity)에 영향을 미치는 오류는 특히 치명적이며, CER과 WER에 미치는 영향은 최소화하면서도 상당한 의미적 왜곡을 초래할 수 있다. 이러한 발견은 정량적 OCR 성능과 실제 기록물 보관 환경에서의 전사 충실도 사이의 중요한 격차를 드러내며, 문자 수준 정확도를 넘어 생성된 전사의 의미적 신뢰성을 포착할 수 있는 평가 프레임워크의 필요성을 강조한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.