교차 모달 어텐션 드리프트와 마스크 기반 검증을 통한 대규모 비전-언어 모델의 객체 환각 탐지
Detecting Object Hallucinations in Large Vision-Language Models via Cross-Modal Attention Drifts and Mask-Based Verification
한국어 초록
대규모 비전-언어 모델(LVLM)의 최근 발전에도 불구하고, 객체 환각(hallucination)은 이러한 모델을 신뢰성 있게 배포하는 데 여전히 큰 걸림돌로 남아 있다. 기존 탐지 방법은 시각적 그라운딩(visual grounding)을 개별 층(layer)의 어텐션으로 특징짓는 경우가 많아, 층 간에 그라운딩이 어떻게 변화하는지는 충분히 탐구되지 못했다. 본 논문에서는 인접 층 간 교차 모달 어텐션 드리프트(drift)와 표적 시각 마스킹에 대한 예측 민감도를 결합한 경량 객체 환각 탐지 프레임워크인 CADMP를 제안한다. CADMP는 디코딩 과정에서 연속된 교차 모달 어텐션 맵 사이의 분포 변화를 정량화하여 시각적 그라운딩의 급격한 전환을 포착한다. 이후 드리프트가 가장 큰 전환을 선택하고, 이에 해당하는 시각적으로 관련된 영역을 찾아 해당 영역을 마스킹한 뒤 예측 확률의 변화를 측정한다. 이 두 신호는 상호 보완적인 근거를 제공한다. 어텐션 드리프트는 내부 시각적 그라운딩의 안정성을 나타내고, 확률 변화는 예측이 식별된 시각적 근거에 실제로 의존하는지를 검증한다. 경량 탐지기는 두 신호를 통합하여 환각된 예측을 식별한다. 여러 벤치마크와 대표적인 오픈소스 LVLM에서 수행한 실험 결과, CADMP는 일관되게 경쟁력 있는 탐지 성능을 달성함을 보여준다. 또한 절제 연구(ablation study)를 통해 인접 층 드리프트 모델링과 마스크 기반 그라운딩 검증이 각각 상호 보완적으로 기여함을 추가로 확인하였다.
원문 초록
Despite recent advances in large vision-language models (LVLMs), object hallucination remains a major barrier to their reliable deployment. Existing detection methods often characterize visual grounding using attention from individual layers, leaving its evolution across layers underexplored. We propose CADMP, a lightweight object hallucination detection framework that combines adjacent-layer cross-modal attention drift with prediction sensitivity to targeted visual masking. During decoding, CADMP quantifies distributional changes between consecutive cross-modal attention maps to capture abrupt transitions in visual grounding. It then selects the transition with the largest drift, locates the corresponding visually relevant regions, and measures the change in prediction probability after masking these regions. These two signals provide complementary evidence: attention drift characterizes the stability of internal visual grounding, while probability variation verifies whether a prediction truly depends on the identified visual evidence. A lightweight detector integrates both signals to identify hallucinated predictions. Experiments on multiple benchmarks and representative open-source LVLMs demonstrate that CADMP achieves consistently competitive detection performance. Ablation studies further confirm the complementary contributions of adjacent-layer drift modeling and mask-based grounding verification.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.02028v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.