Reference-free Hallucination Detection for Large Vision-Language Models
원문 초록
Large vision-language models (LVLMs) have made significant progress in recent years. While LVLMs exhibit excellent ability in language understanding, question answering, and conversations of visual inputs, they are prone to producing hallucinations. While several methods are proposed to evaluate the hallucinations in LVLMs, most are reference-based and depend on external tools, which complicates their practical application. To assess the viability of alternative methods, it is critical to understand whether the reference-free approaches, which do not rely on any external tools, can efficiently detect hallucinations. Therefore, we initiate an exploratory study to demonstrate the effectiveness of different reference-free solutions in detecting hallucinations in LVLMs. In particular, we conduct an extensive study on three kinds of techniques: uncertainty-based, consistency-based, and supervised uncertainty quantification methods on four representative LVLMs across two different tasks. The empirical results show that the reference-free approaches are capable of effectively detecting non-factual responses in LVLMs, with the supervised uncertainty quantification method outperforming the others, achieving the best performance across different settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택
Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.
LabourCrew: 노동법에 대한 신뢰 가능한 적대적 심의 및 법령 추론을 위한 멀티 에이전트 RAG 프레임워크
LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law
법령 기반 질의응답(statutory question answering)에서는 검증 불가능한 노동권 관련 답변이 심각한 법적 결과를 초래할 수 있으므로, 모든 주장이 단순한 관련성을 넘어 반드시 증거로 추적 가능해야 합니다. 기존 시스템은 이에 미치지 못합니다. 단일 패스(single-pass) 검색-증강 생성(RAG)은 증거 부족을 감지하지 못하며, 멀티 에이전트 법률 토론 시스템은 그라운딩(grounding)을 프롬프트 관례 수준으로 취급하여 에이전트가 검색되지 않은 증거를 인용하도록 허용합니다. 이러한 격차를 해결하기 위해, 세 가지 그라운딩 메커니즘을 중심으로 구축된 멀티 에이전트 RAG 프레임워크인 LabourCrew를 소개합니다. 첫째, 고정 길이 스팬 대신 장, 조항, 단서 조항, 상호 참조 구조를 명시적으로 연결하는 그래프 인덱스인 StatuteGraph, 둘째, 옹호인(advocate)과 해석인(interpreter)을 증거 원장에 국한하여 검색되지 않은 텍스트를 인용하는 것을 원천 차단하는 동시에, 개별 실패가 시스템 다운으로 이어지지 않고 점진적으로 저하되도록 옹호인을 병렬 실행하는 내결함성 감독 위원회로 구성된 증거 교환 프로토콜(Evidence Exchange Protocol), 셋째, 단정적인 수락/기각 결정을 신뢰 점수로 대체하고 오수락률(false-accept rate)에 대한 무분포 경계(distribution-free bound)를 확보하기 위해 등각 위험 제어(conformal risk control)로 임계값을 설정하는 보정된 신뢰 게이트(Calibrated Trust Gate)입니다. 7개 추론 범주와 3개 난이도 단계에 걸친 방글라데시 2006년 노동법 기반의 500개 벵골어 문항 세트인 LabourActQA에서 평가를 수행했습니다. 본 프레임워크는 실증적 오수락률을 목표치($\alpha = 0.10$) 이내인 0.081로 낮추고, HyDE RAG, Graph-RAG, Hierarchical RAG 대비 가장 높은 답변 관련성(Answer Relevancy)을 달성했으며(0.862 $>$ 0.839, 0.815, 0.828), 질문 난이도가 높아짐에 따라 급격한 성능 저하 없이 점진적으로 저하됩니다. 이러한 결과는 저자원 법령 도메인에서 법률 질의응답을 감사 가능하게 만드는 핵심이 검색 품질 단독이 아닌 보정된 기권(calibrated abstention)임을 보여줍니다.
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
페르시아어 의료 언어 모델의 주장 단위 환각 탐지를 위한 단일 패스 불확실성 헤드
Single-Pass Uncertainty Heads for Claim-Level Hallucination Detection in Persian Medical Language Models
환각(hallucination) 탐지는 의료 언어 모델에서 특히 중요하지만, 반복 샘플링 접근법은 계산 비용이 많이 듭니다. 더 빠른 대안은 동결된 생성기의 내부 신호로부터 환각 위험을 예측하는 단일 패스(single-pass) 불확실성 헤드입니다. 기존 불확실성 헤드는 백본(backbone) 특화 특징과 토큰화를 사용하므로 백본이나 언어가 변경될 때 적응이 필요합니다. 본 연구에서는 168개 문항의 이란 의대 입학시험을 대상으로 두 페르시아어 의료 모델인 Gaokerena-V와 Gaokerena-R을 조사합니다. 문항당 5회 생성 전반에서 Med-Gemma가 168개 문항 모두에서 동일한 선택지를 생성한 것과 비교해 Gaokerena-V는 14개 문항, Gaokerena-R은 37개 문항에서만 동일한 선택지를 생성하여 Gaokerena 모델들에서 상당한 응답 가변성이 있음을 나타냈습니다. 이에 따라 본 연구는 LLM Uncertainty Head(LUH) 프레임워크를 이러한 모델에 맞게 적응시키고 백본당 1,600개의 응답으로 구성된 두 쌍의 주장 단위(claim-level) 환각 데이터셋을 페르시아어로 직접 구축합니다. 동결된 백본의 어텐션 맵과 토큰 확률을 기반으로 경량 헤드를 학습합니다. 보류된 테스트 분할(held-out test split)에서 헤드는 각각 무작위 베이스라인의 2.30배 및 2.66배에 해당하는 0.4820과 0.4652의 PR-AUC를 달성하며, ROC-AUC는 0.7852와 0.7810을 달성합니다. 결과로 도출된 탐지기는 추론 시 검색이나 반복 샘플링을 모두 필요로 하지 않습니다.
의료 영상을 위한 변분 위험 최소화 기반 신뢰도 게이팅 클라우드-엣지 캐스케이드 분류
Confidence-Gated Cloud-Edge Cascade Triage via Variational Risk Minimization for Medical Imaging
응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.
대규모 언어 모델(LLM) 추론을 위한 테스트 시점 캘리브레이션 학습
Test-time Calibration Learning for Large Language Model Reasoning
신뢰할 수 있는 대규모 언어 모델(LLM)은 정확한 답변을 생성하는 것뿐만 아니라, 정답일 확률을 충실히 반영하는 신뢰도(confidence)를 표현해야 한다. 이러한 캘리브레이션(calibration)은 불확실한 예측을 식별하고 실제 배포 환경에서의 신뢰할 수 있는 의사결정을 지원하는 데 필수적이다. 최근 연구들은 캘리브레이션 학습을 강화학습에 결합하여, 정답 여부에 대한 정답(ground-truth) 정확성 감독(supervision)을 이용해 답변 정확성과 언어로 표현된 신뢰도(verbalized confidence)를 공동으로 최적화한다. 그러나 이러한 접근법은 레이블이 있는 데이터에 의존하기 때문에, 정답 레이블을 사용할 수 없고 캘리브레이션이 새롭게 접하는 목표 과제(target task)에 적응해야 하는 실제 테스트 시점(test-time) 환경에서의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 우리는 레이블이 없는 목표 과제 데이터에서 직접 추론 정확도와 언어로 표현된 신뢰도를 공동으로 적응시키는 레이블-프리(label-free) 프레임워크인 테스트 시점 캘리브레이션 학습(Test-Time Calibration Learning, TTCL)을 제안한다. 구체적으로, TTCL은 다수의 모델 생성 응답으로부터 정답 여부와 캘리브레이션 모두에 대한 자기 감독(self-supervision) 신호를 도출하여, 정답 레이블 없이도 테스트 시점에서의 캘리브레이션 학습을 가능하게 한다. 이론적 분석을 통해 TTCL이 이상적인 캘리브레이션 목적함수에 대한 경계가 있는(bounded) 대체 목표(surrogate)임을 추가로 입증한다. 수학적 추론과 사실 기반 질의응답(factual question answering)에 대한 광범위한 실험을 통해, TTCL이 다양한 모델과 과제에서 정확도와 캘리브레이션을 일관되게 향상시킨다는 것을 보인다. 기본 모델(base model)에서 TTCL은 8개의 벤치마크에서 평균 상대 정확도 개선 +40.13%와 ECE(Expected Calibration Error) 감소 +70.80%를 달성한다. 더불어 TTCL은 이미 캘리브레이션된 모델에 대해서도 도메인 변화(domain shift) 상황에서 정확도와 캘리브레이션을 더욱 개선할 수 있으며, 특히 소스 도메인(source-domain)의 캘리브레이션이 목표 과제로 잘 전이되지 않는 경우에 효과적이다. 수학-사실 기반 질의응답(math-to-factQA) 설정에서 TTCL은 평균 상대 정확도 향상 +20.35%를 달성하고 ECE를 +53.83% 감소시킨다. 소스 코드는 https://github.com/tmlr-group/TTCL 에서 공개되어 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.