arXiv:2608.05616v1 cs.CV

TruthLens: LVLM에서 자체 평가 진실성 점수를 통한 객체 환각 탐지

TruthLens: Object Hallucination Detection via Self-Evaluating Truthfulness Scores in LVLMs

Yanqi Wu, Runhe Lai, Xinhua Lu, Qichao Chen, Zhiping Zhou, Jia-Xin Zhuang, Weijiang Yu, Ruixuan Wang

제출 2026-08-06

한국어 초록

대규모 비전-언어 모델(LVLM)의 눈부신 발전에도 불구하고, 객체 환각(object hallucination)은 신뢰할 수 있는 배포를 저해하는 근본적인 과제로 남아 있습니다. 본 연구는 실제 객체 토큰과 환각된 객체 토큰이 은닉 표상(hidden representation)에서는 명확히 분리되지만, 언어 모델링(LM) 헤드에서는 이러한 분리 가능성이 대부분 소실된다는 핵심 발견에서 출발합니다. 본 논문에서는 보조 모델이나 추가적인 추론 비용 없이 LM 헤드가 객체별 진실성 신호를 드러내도록 학습시키는 자체 평가 프레임워크인 TruthLens를 제안합니다. 구체적으로는 거의 사용되지 않는 특수 토큰을 참조 토큰으로 재활용합니다. 각 객체 토큰 위치에서 LM 헤드가 이 특수 토큰에 할당한 로그 확률을 추출하고, 사전 정의된 상수와의 차이를 진실성 점수로 정의합니다. 그런 다음 실제 객체에 대해서는 점수가 1에 가까워지고 환각된 객체에 대해서는 0에 가까워지도록 유도하는 MSE 손실 함수로 모델을 파인튜닝(fine-tuning)하며, 발산 제약(divergence constraint)을 통해 원래의 생성 성능을 보존합니다. 제한된 객체 범주 세트에서만 학습되었음에도 불구하고, TruthLens는 훨씬 더 큰 레이블 공간을 가진 벤치마크에도 효과적으로 일반화됩니다. 여러 LVLM에 걸친 광범위한 실험을 통해 최고 수준의 성능을 입증하였으며, 특히 Qwen2.5-VL-7B에서 TruthLens는 MS-COCO 기준 기존 최고 성능 대비 AUROC를 17% 이상 능가합니다. 코드 정보는 https://github.com/wyqstan/TruthLens 에서 확인할 수 있습니다.

원문 초록

Despite the remarkable progress of large vision language models (LVLMs), object hallucination remains a fundamental challenge that hinders their trustworthy deployment. A key finding motivates our work: real and hallucinated object tokens are clearly separable in hidden representations, yet this separability is largely lost at the language-modeling (LM) head. We propose TruthLens, a self-evaluation framework that teaches the LM head to expose a per-object truthfulness signal without any auxiliary model or additional inference cost. Concretely, a rarely-used special token is repurposed as a reference token. For each object-token position, we extract the log-probability assigned to this special token by the LM head, and define its difference from a predefined constant as the truthfulness score. The model is then fine-tuned with an MSE objective that drives scores toward 1 for real objects and 0 for hallucinated ones, while a divergence constraint preserves the original generation capability. Despite being trained on only a limited set of object categories, TruthLens generalizes effectively to benchmarks with substantially larger label spaces. Extensive experiments across multiple LVLMs demonstrate state-of-the-art performance; notably, on Qwen2.5-VL-7B, TruthLens outperforms the previous best method on MS-COCO by over 17\% in AUROC. Our code is available at https://github.com/wyqstan/TruthLens.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.05616v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.