TruthLens: LVLM에서 자체 평가 진실성 점수를 통한 객체 환각 탐지
TruthLens: Object Hallucination Detection via Self-Evaluating Truthfulness Scores in LVLMs
대규모 비전-언어 모델(LVLM)의 눈부신 발전에도 불구하고, 객체 환각(object hallucination)은 신뢰할 수 있는 배포를 저해하는 근본적인 과제로 남아 있습니다. 본 연구는 실제 객체 토큰과 환각된 객체 토큰이 은닉 표상(hidden representation)에서는 명확히 분리되지만, 언어 모델링(LM) 헤드에서는 이러한 분리 가능성이 대부분 소실된다는 핵심 발견에서 출발합니다. 본 논문에서는 보조 모델이나 추가적인 추론 비용 없이 LM 헤드가 객체별 진실성 신호를 드러내도록 학습시키는 자체 평가 프레임워크인 TruthLens를 제안합니다. 구체적으로는 거의 사용되지 않는 특수 토큰을 참조 토큰으로 재활용합니다. 각 객체 토큰 위치에서 LM 헤드가 이 특수 토큰에 할당한 로그 확률을 추출하고, 사전 정의된 상수와의 차이를 진실성 점수로 정의합니다. 그런 다음 실제 객체에 대해서는 점수가 1에 가까워지고 환각된 객체에 대해서는 0에 가까워지도록 유도하는 MSE 손실 함수로 모델을 파인튜닝(fine-tuning)하며, 발산 제약(divergence constraint)을 통해 원래의 생성 성능을 보존합니다. 제한된 객체 범주 세트에서만 학습되었음에도 불구하고, TruthLens는 훨씬 더 큰 레이블 공간을 가진 벤치마크에도 효과적으로 일반화됩니다. 여러 LVLM에 걸친 광범위한 실험을 통해 최고 수준의 성능을 입증하였으며, 특히 Qwen2.5-VL-7B에서 TruthLens는 MS-COCO 기준 기존 최고 성능 대비 AUROC를 17% 이상 능가합니다. 코드 정보는 https://github.com/wyqstan/TruthLens 에서 확인할 수 있습니다.