arXiv:2603.29492v2 cs.CL

방사선 판독문 생성을 위한 보정된 확신도 표현

Calibrated Confidence Expression for Radiology Report Generation

David Bani-Harouni, Chantal Pellegrini, Julian L\"uers, Su Hwan Kim, Markus Baalmann, Benedikt Wiestler, Rickmer Braren, Nassir Navab, Matthias Keicher

제출 2026-09-23

한국어 초록

방사선 판독문 생성에서 대규모 비전-언어 모델(LVLM)을 안전하게 배포하기 위해서는 정확한 예측뿐만 아니라, 출력을 면밀히 검토해야 할 시점을 임상적으로 해석 가능하게 알려주는 지표가 필요하며, 이를 통해 영상의학과 전문의의 선택적 검증을 가능하게 하고 환각(hallucination)된 소견이 임상적 결정에 영향을 미치는 위험을 줄일 수 있다. 이에 대한 한 가지 직관적인 접근법은 모델이 자신의 확실성을 명시적으로 진술하는 언어화된 확신도(verbalized confidence)이다. 그러나 현재의 최첨단 언어 모델은 종종 과도한 확신(overconfident)을 가지며, 방사선 판독문 생성과 같은 멀티모달 환경에서의 캘리브레이션(calibration, 보정)에 관한 연구는 제한적이다. 이러한 공백을 해결하기 위해, 우리는 방사선 판독문과 함께 보정된 언어화된 확신도 추정치를 생성하도록 의료 LVLM을 미세조정(fine-tuning)하는 강화학습(reinforcement learning) 프레임워크인 ConRad(Confidence Calibration for Radiology Reports)를 도입한다. 우리는 단일 판독문 수준의 확신도 점수와 각 주장에 확신도를 할당하는 문장 수준 변형이라는 두 가지 설정을 연구한다. 두 방식 모두 오보정(miscalibration)에 불이익을 주어 진실된 자기 평가를 유도하고 보상 극대화 시 최적의 캘리브레이션을 보장하는 로그 점수 규칙(logarithmic scoring rule) 기반 보상(reward) 함수와 함께 GRPO 알고리즘을 사용하여 학습된다. 실험을 통해 ConRad가 캘리브레이션을 실질적으로 개선하고 경쟁 방법들보다 뛰어난 성능을 보임을 확인하였다. 임상적 평가에서는 ConRad의 판독문 수준 점수가 임상의의 판단과 잘 일치함을 보여준다. ConRad는 집중적인 검토를 위해 전체 판독문이나 확신도가 낮은 진술을 강조 표시함으로써 판독문 생성을 위한 AI 보조 기능의 보다 안전한 임상 통합을 지원할 수 있다.

원문 초록

Safe deployment of Large Vision-Language Models (LVLMs) in radiology report generation requires not only accurate predictions but also clinically interpretable indicators of when outputs should be thoroughly reviewed, enabling selective radiologist verification and reducing the risk of hallucinated findings influencing clinical decisions. One intuitive approach to this is verbalized confidence, where the model explicitly states its certainty. However, current state-of-the-art language models are often overconfident, and research on calibration in multimodal settings such as radiology report generation is limited. To address this gap, we introduce ConRad (Confidence Calibration for Radiology Reports), a reinforcement learning framework for fine-tuning medical LVLMs to produce calibrated verbalized confidence estimates alongside radiology reports. We study two settings: a single report-level confidence score and a sentence-level variant assigning a confidence to each claim. Both are trained using the GRPO algorithm with reward functions based on the logarithmic scoring rule, which incentivizes truthful self-assessment by penalizing miscalibration and guarantees optimal calibration under reward maximization. Experimentally, ConRad substantially improves calibration and outperforms competing methods. In a clinical evaluation we show that ConRad's report level scores are well aligned with clinicians' judgment. By highlighting full reports or low-confidence statements for targeted review, ConRad can support safer clinical integration of AI-assistance for report generation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.29492v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02269v1eess.IV공통 태그 Medical Image Analysis, Hallucination

의료 영상을 위한 변분 위험 최소화 기반 신뢰도 게이팅 클라우드-엣지 캐스케이드 분류

Confidence-Gated Cloud-Edge Cascade Triage via Variational Risk Minimization for Medical Imaging

응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.

arXiv:2610.03445v1cs.CV공통 태그 Image Captioning, Hallucination

오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유

Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally

표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.

arXiv:2610.00196v1cs.CV공통 태그 Image Captioning, Medical Image Analysis

GPEC: 심장 초음파 비디오 캡션 생성을 위한 효율적인 LLM 사전 가우시안 프로세스 임베딩 보정

GPEC: Efficient Pre-LLM Gaussian Process Embedding Correction for Cardiac Video Caption Generation

멀티모달 대규모 언어 모델(MLLM)은 비디오 이해 및 캡션 생성에서 강력한 잠재력을 보여주었으나, 심장 초음파 검사와 같은 전문 의료 영상 분야에서는 성능이 저하될 수 있습니다. 본 연구에서는 심장 초음파 캡션 생성을 위해 VideoChat2에서 사용하는 시각적 표현을 개선하는 모듈형이자 계산 효율적인 LLM 사전 오류 보정 방법인 가우시안 프로세스 임베딩 보정(Gaussian Process Embedding Correction, GPEC)을 소개합니다. GPEC은 시각적 투영 층(visual projection layer)과 언어 모델 사이에 삽입되어 투영된 시각적 표현을 어노테이션 기반 타깃으로 이동시키는 잔차 보정(residual correction)을 학습합니다. 이 타깃은 구조화된 비디오 어노테이션을 정성적 속성으로 변환하고, 고정된 형식의 참조 캡션을 생성한 뒤, 이를 언어 모델 임베딩 공간으로 매핑하여 구축됩니다. 보정은 유도점(inducing points), 자연 매개변수 변분 업데이트(natural-parameter variational updates), 블록별 선형 커널을 갖춘 희소 변분 가우시안 프로세스(sparse variational Gaussian Process)를 사용하여 모델링되며, 기존 VideoChat2 구성 요소는 고정(frozen) 상태로 유지됩니다. 본 방법은 동일한 입력 및 참조 조건에서 기존 VideoChat2와 VideoChat2 + GPEC을 비교하여 표현 수준, 캡션 수준, 콘텐츠 지향 및 실행 시간 지표를 사용해 평가됩니다. 실험 결과, 제안된 보정을 적용한 후 캡션 유사도 및 콘텐츠 정합성이 향상된 것으로 나타났습니다. 또한 GPEC은 평가 환경에서 비디오당 0.05초 미만의 추론 시간 오버헤드만을 추가합니다. 이러한 결과는 사전학습된 멀티모달 백본의 엔드투엔드 미세조정 없이도 GPEC이 최소한의 계산 비용으로 전문 의료 비디오 분야의 캡션 생성을 향상할 수 있음을 보여줍니다.

arXiv:2609.27374v1cs.CL공통 태그 Reinforcement Learning, Text Generation

조율된 추론 경로를 활용한 계획 기반 테스트 시점 스케일링

Planned Test-Time Scaling with Coordinated Reasoning Paths

병렬 브랜치를 활용한 테스트 시점 스케일링(test-time scaling)은 어려운 추론 과제의 성능을 향상시키기 위해 널리 채택되고 있다. 가장 널리 쓰이는 접근법인 반복 샘플링(repeated sampling)은 단일 정책에서 브랜치를 독립적으로 추출하기 때문에 중복된 시도가 발생할 수 있으며, 이로 인해 추가 추론 연산으로 얻을 수 있는 이득이 제한된다. 이러한 한계를 해결하기 위해 본 논문은 독립 샘플링을 조율된 결합 정책(joint policy)으로 대체하는 계획 기반 테스트 시점 스케일링(Planned Test-Time Scaling, PTTS)을 제안한다. 플래너(planner)가 각 브랜치에 대한 풀이 개요(outline)를 생성하여 브랜치들이 서로 다른 추론 경로를 향하도록 유도하고, 실행기(executor)가 각 개요를 조건으로 전체 풀이를 생성한다. 형식적으로, 우리는 PTTS가 반복 샘플링을 엄밀하게 일반화하며, 단순화된 설정에서 상호 보완적인 추론 방식(reasoning mode)의 커버리지를 증가시키고 더 나은 pass@k 스케일링을 낳음을 증명한다. 우리는 강력한 추론 모델 위에서 PTTS를 구현하며, 이 모델들을 실행기로 고정한 채 반복 샘플링을 PTTS 추론으로 대체하여 테스트 시점 스케일링을 더욱 향상시킨다. 구체적으로 두 가지 변형을 개발한다. PTTS-ZS는 모델이 단일 자기회귀(autoregressive) 패스에서 모든 브랜치의 개요를 함께 생성하도록 프롬프트하는 방식이며, PTTS-RL은 효율적인 학습과 더 선명한 보상 신호를 위해 절단된 실행 롤아웃(truncated execution rollout)을 사용하여 pass@k 보상에 대해 플래너를 직접 최적화한다. Qwen3-1.7B와 4B를 사용한 다섯 개의 수학적 추론 벤치마크에서, PTTS-ZS는 반복 샘플링 대비 pass@64를 최대 6.7포인트 향상시켰으며, PTTS-RL은 이 향상 폭을 최대 13.4포인트까지 더 늘렸다. 추가 분석은 서로 다른 추론 경로를 더 폭넓게 포괄하는 것이 이러한 성능 향상에 기여함을 보여준다. 종합하면, PTTS는 추론 브랜치를 조율함으로써 테스트 시점 스케일링을 개선하는 범용 프레임워크를 제공하며, 제로샷 방식과 학습 가능한 방식의 구현 모두에서 상당한 성능 향상을 얻는다.

arXiv:2609.27607v1cs.CL공통 태그 Text Generation, Hallucination

Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델

Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality

AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.