arXiv:2406.10185

Detecting and Evaluating Medical Hallucinations in Large Vision Language Models

Jiawei Chen, Dingkang Yang, Tong Wu, Yue Jiang, Xiaolu Hou, Mingcheng Li, Shunli Wang, Dongling Xiao, Ke Li, Lihua Zhang

제출 2024-06-14

원문 초록

Large Vision Language Models (LVLMs) are increasingly integral to healthcare applications, including medical visual question answering and imaging report generation. While these models inherit the robust capabilities of foundational Large Language Models (LLMs), they also inherit susceptibility to hallucinations-a significant concern in high-stakes medical contexts where the margin for error is minimal. However, currently, there are no dedicated methods or benchmarks for hallucination detection and evaluation in the medical field. To bridge this gap, we introduce Med-HallMark, the first benchmark specifically designed for hallucination detection and evaluation within the medical multimodal domain. This benchmark provides multi-tasking hallucination support, multifaceted hallucination data, and hierarchical hallucination categorization. Furthermore, we propose the MediHall Score, a new medical evaluative metric designed to assess LVLMs' hallucinations through a hierarchical scoring system that considers the severity and type of hallucination, thereby enabling a granular assessment of potential clinical impacts. We also present MediHallDetector, a novel Medical LVLM engineered for precise hallucination detection, which employs multitask training for hallucination detection. Through extensive experimental evaluations, we establish baselines for popular LVLMs using our benchmark. The findings indicate that MediHall Score provides a more nuanced understanding of hallucination impacts compared to traditional metrics and demonstrate the enhanced performance of MediHallDetector. We hope this work can significantly improve the reliability of LVLMs in medical applications. All resources of this work will be released soon.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13821v1cs.CL공통 태그 Question Answering, Hallucination

언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택

Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection

유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.

arXiv:2610.03639v1cs.AI공통 태그 Question Answering, Hallucination

대규모 언어 모델은 콜롬비아 법률을 알고 있는가? 콜롬비아 법률 체계를 위한 신뢰성 벤치마크

Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System

대규모 언어 모델(LLM)은 법률 실무, 교육, 연구를 지원하는 데 점점 더 많이 활용되고 있지만, 미국 이외의 국가 법률 체계에서 이들의 신뢰성은 대부분 문서화되지 않은 상태로 남아 있습니다. 본 연구에서는 콜롬비아 법률 체계에 대한 LLM 신뢰성을 평가하기 위한 전문가 검증 벤치마크를 소개합니다. 이 벤치마크는 다단계 전문가 검토를 거친 인간 참여형(human-in-the-loop) 파이프라인을 통해 구축되었으며, 10개 법률 분야와 3가지 질문 형식(폐쇄형 객관식, 반개방형, 개방형 IRAC)에 걸친 1,042개 문항으로 구성됩니다. 우리는 형식에 적합한 지표를 사용하여 15개의 최신 상용 및 공개 가중치(open-weight) 모델을 평가합니다. 폐쇄형 질문의 정확도는 0.905(Gemini 3.1 Pro)부터 0.577까지 큰 폭의 차이를 보였으나, 자유 서술형 법률 답변의 경우 모든 모델에서 사실적 정확성이 0.45(0-1 척도 기준)를 넘지 못했습니다. 우리는 답변 관련성과 정확성 사이의 괴리(Spearman rho = -0.46)를 발견했습니다. 즉, 모델들은 질문에 부합하게 그럴듯하게 응답하면서도 실제로는 틀리는 경우가 잦았으며, 이는 특히 비전문가 사용자에게 우려되는 패턴입니다. 폐쇄형 질문 정확도와 자유 서술형 정확도는 순위 상관관계가 매우 높아(rho = 0.94), 비용이 적게 드는 객관식 스크리닝으로 모델 순위를 예측할 수는 있지만 절대적인 신뢰성은 과대평가되는 것으로 나타났습니다. 루브릭 기반의 독립적인 LLM 판정관과 블라인드 인간 전문가 점수 산정 모두 자유 서술형 순위를 재현했습니다(rho >= 0.88). 판정관 분석 결과, 모델이 인용한 법규범 중 약 절반만이 정확했으며 나머지는 부정확하거나 존재하지 않는 것으로 추가 확인되었습니다. 신뢰성은 법률 분야에 따라 체계적으로 차이를 보였으며 질문 복잡도에 따라 역U자형(inverted-U) 추세를 따랐습니다. 본 연구 결과는 현재의 LLM이 콜롬비아 법률 업무에 활용되려면 전문가의 감독이 필요하며, 권위 있는 출처에 답변을 그라운딩(grounding)하는 것이 신뢰성을 높이기 위한 유망한 방안임을 보여줍니다. 재현 가능한 평가를 지원하기 위해 벤치마크 구축 파이프라인을 공개합니다.

arXiv:2610.03617v1cs.CV공통 태그 Hallucination, Visual Question Answering

DEPICT: 답변 일치도를 통한 텍스트-이미지 정렬 점수화

DEPICT: Scoring Text-to-Image Alignment by Answer Agreement

이미지-텍스트 정렬(image-text alignment)은 캡션 평가, 환각(hallucination) 감지, 데이터 큐레이션, 텍스트-이미지(T2I) 생성 모델 벤치마킹 등에 응용되는 컴퓨터 비전의 핵심 문제입니다. T2I 모델이 발전함에 따라 벤치마킹 요구 수준도 높아져, 누락된 객체, 뒤바뀐 속성, 잘못된 개수 세기, 무시된 부정 표현과 같은 일련의 문제들을 발견할 수 있는 평가 지표가 필요해졌습니다. 최근 연구들은 선호도 데이터로 평가 모델을 미세조정(fine-tuning)하거나 비전-언어 모델(VLM)에 캡션을 통째로 프롬프트로 주거나 분해된 검증 질문을 제공하는 방식으로 이를 해결하고자 합니다. 그러나 기존 접근 방식에는 한계가 있습니다. 미세조정된 지표는 단일 백본 및 학습 분포에 종속되며, 전체론적(holistic) 지표는 세밀한 세부 정보를 놓치고, 분해 기반 지표는 가정이 깨질 때마다 충실한 이미지에 불이익을 주는 '고정된 YES' 가정에 의존합니다. 이에 반해, 본 논문에서는 고정된 참조 답변 대신 이미지 기반 답변과 캡션 전용 답변 간의 기대 일치도를 사용하고, 캡션이 질문을 얼마나 결정적으로 판별하는지에 따라 가중치를 부여하는 학습 불필요(training-free) 지표인 DEPICT를 제안합니다. 고정된 참조 답변을 대체함으로써, 이러한 일치 규칙은 부정 표현 정확도를 19%에서 88%로 향상시킵니다. 또한 분해 과정에서 손실된 문맥을 복원하기 위해, DEPICT는 이 일치 점수를 전체론적 점수와 병합합니다. 3개 모델 계열의 11개 백본과 5개 벤치마크에서 DEPICT를 평가한 결과, 모든 학습 불필요 지표를 능가했으며 인간 상관관계 벤치마크 3개 중 2개에서 미세조정된 평가 모델보다 우수한 성능을 보였습니다.

arXiv:2610.00609v1cs.AI공통 태그 Question Answering, Hallucination

Legal Research Bench: 장기 법률 리서치 에이전트의 엔드투엔드 신뢰성 측정

Legal Research Bench: Measuring End-to-End Reliability in Long-Horizon Legal Research Agents

법률 리서치는 법률 업무에서 핵심적이면서도 많은 시간이 소요되는 워크플로입니다. 변호사는 구속력 있는 판례 및 법령(controlling authority)을 식별하고, 해당 법률이 여전히 유효한지 검증하며, 법령과 판례를 조화롭게 해석하고, 근거 기반(grounded)의 답변을 종합해야 합니다. 언어 모델(language model) 에이전트(agent)는 이러한 검색 집약적 워크플로에 자연스럽게 부합하며, 일부라도 자동화할 수 있다면 큰 가치를 지닙니다. 그러나 이러한 가치는 신뢰성에 좌우됩니다. 권위 있는 법적 근거가 하나라도 누락되거나, 오래되어 효력이 다한 인용(stale citation), 혹은 잘못된 법적 결론이 포함되면 그 외에는 그럴듯해 보이는 답변이라도 사용할 수 없게 됩니다. 본 연구에서는 전문가가 작성한 413개의 주관식 미국 법률 리서치 질문과 각각에 대한 모범 답안(gold answer), 뒷받침하는 법적 근거, 이진 채점 루브릭으로 구성된 벤치마크인 \textbf{Legal Research Bench}(LRB)를 소개합니다. 웹 검색, 판례 검색, 페이지 파싱 및 검색 도구를 갖춘 하네스 환경에서 13개의 프론티어 모델을 평가합니다. 모든 필수 기준이 충족되고 인용된 법적 근거가 검증된 경우에만 정답으로 처리하는 출처 검증 기반의 올패스(all-pass) 채점을 통해 에이전트의 응답을 평가합니다. 또한 LLM 판사를 전문 변호사와 대조 검증하여 벤치마크 점수가 변호사의 판단과 일치하도록 보장합니다. 평가 결과, 에이전트는 여전히 신뢰성과 거리가 멀었습니다. 테스트한 모델 중 가장 성능이 뛰어난 Claude Opus 4.8조차 질문의 42.9\%에서만 완전한 정답을 기록했습니다. 또한 성능은 과제 환경에 따라 크게 달라집니다. 올패스 비율은 법률 분야마다 상이하며, 상충하는 법적 근거의 조정을 요구하는 질문에서 더 낮았습니다. 모든 모델에 걸쳐 턴 수, 도구 호출 수, 추론(inference) 비용의 증가가 더 높은 정확도를 담보하지는 않았습니다.

arXiv:2608.08477v4cs.CL공통 태그 Hallucination, Visual Question Answering

VectraYX-Vision-1B: 구조화된 시각적 추론과 네이티브 도구 사용을 갖춘 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델

VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use

우리는 동결된 SigLIP-so400m 인코더를 2층 MLP 프로젝터로 10.4억 매개변수 디코더에 결합한 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델 VectraYX-Vision-1B를 구축하고, 진단적 부정 결과를 보고한다. 시각적 그라운딩이 실패했다는 것이 아니라, 왜 그랬는지를 밝힌다. 다섯 가지 조용한 미세조정 결함을 수정한 뒤, 셔플된 이미지 대조를 포함한 9개 필드 추출 게이트에서의 그라운딩은 인코더를 그대로 두는 모든 구성에서 불변인 2/9이며, 이를 바꾸는 유일한 2×2 타일링은 필드 하나를 잃고 새로 얻는 것은 없다. 해상도는 작동 변수가 아니다. 거의 완벽하게 읽히는 필드가 코퍼스에서 가장 높은 엔트로피를 갖는다. 동결 SigLIP 특징에 대한 선형 프로브는 글리프별 복구 가능성 p~0.61을 주며, 관측 0.00 대비 1.9%를 예측한다. 타일링은 두 필드에서 복구 가능성을 거의 두 배로 늘리지만, end-to-end 모델은 더 나빠진다. 네이티브로 학습된 시각 타워를 동일한 동결 디코더와 레시피에 이식하면, 아무것도 복구하지 못한 타일링 조건보다 더 거친 토큰 예산에서 주소 필드를 0.00에서 0.81 exact로 끌어올린다. 해상도가 아니라 사전학습 체제가 손실이 얼마나 멀리 미치는지를 정한다. 이후 별도로 학습된 체크포인트는 하나의 긍정 결과를 추가한다. B8(34개 필드, 16개 템플릿, 2,040개 항목, 이중 셔플-이미지/최적 상수 대조)에서 9개 필드가 통과하여, 학습된 템플릿-필드 조합 내에서만 진정한 그라운딩이 있음을 확인한다. 가장 날카로운 새 발견은, 잘 학습된 템플릿 안에서 학습되지 않은 필드는 이미지와 무관하게 거의 일정한 오답을 반환한다는 것이다. 즉 자유 텍스트 읽기가 아니라 랜드마크 키 조회이다. B6/B7 도구 식별은 이 체크포인트를 포함한 모든 체크포인트에서 0.0을 유지한다. 더 강한 모델이 숨길 수 있는 세 가지 하네스 결함을 발견한 뒤 이전 0.08 tool-id 점수를 철회한다. 코드, 세 벤치마크 전부, 설정, B8 코퍼스를 포함한 모든 학습 체크포인트를 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.