arXiv:2608.27004v3 cs.CV

MVC-Bench: 의료 비전-언어 모델 보정 벤치마킹

MVC-Bench: Benchmarking Calibration of Medical Vision-Language Models

Ashshak Sharifdeen, Shihab Aaqil Ahamed, Ufaq Khan, Muhammad Akhtar Munir, Sujair Ibrahim, Mohamed Rafeek Mareer Ahamed, Yutong Xie, Imran Razzak, Muhammad Haris Khan

제출 2026-08-27

한국어 초록

비전-언어 모델(VLM)과 의료 비전-언어 모델(Medical-VLM)의 신뢰할 수 있는 평가는, 특히 현실적인 임상 조건에서 보정된 신뢰도를 요구한다. 그러나 기존 연구는 주로 정확도 향상에 집중해 왔고, 의료 영역에서의 보정은 충분히 다루어지지 않았다. 이에 VLM과 Medical-VLM을 활용한 의료 이미지 분류를 위한 보정 중심 벤치마크 MVC-Bench를 제안한다. MVC-Bench는 세 가지 축에서 보정을 평가한다: (i) 모달리티, 백본, 도메인 이동(domain shift)에 대한 강건성 (ii) 보정 전략 및 프롬프트 튜닝(prompt-tuning) 방법의 효과 (iii) 프롬프트 템플릿 및 난수 시드(random-seed) 변화에 따른 안정성. 이 벤치마크는 인-도메인(in-domain) 및 도메인 이동 설정에서 안저 영상(fundus imaging), 조직병리(histopathology), 흉부 X-ray를 포함한 세 가지 의료 모달리티와 여덟 가지 백본을 다룬다. 사후 보정(post-hoc calibration), 학습 시점 보정(train-time calibration), 제로샷(zero-shot) 추론 방법과 여섯 가지 프롬프트 튜닝 방법을 비교한다. 1638회가 넘는 통제 실험에서 정확도와 Expected Calibration Error(ECE)를 주요 지표로 보고하고, Maximum Calibration Error(MCE)와 Adaptive Calibration Error(ACE) 등 보완적 보정 지표 결과도 함께 제시한다. 또한 VLM과 Medical-VLM에서 보정 오류(miscalibration)의 근본 원인을 분석하고, 학습 시점 보정 방법인 Multi-Class Margin(MCM) 정규화를 제안한다. MCM은 인-도메인 12개 설정 중 10개에서 최저 ECE를 달성하며 도메인 이동 하에서도 경쟁력을 유지한다. MVC-Bench는 안전이 중요한(safety-critical) 의료 워크플로에서 보정을 개선하기 위한 구조화된 평가 프레임워크와 실행 가능한 지침을 제공한다.

원문 초록

Reliable evaluation of vision-language models (VLMs) and medical vision-language models (Medical-VLMs) requires calibrated confidence, particularly under realistic clinical conditions. However, existing efforts mainly focused on improving accuracy, leaving calibration in the medical domain underexplored. To this end, we propose MVC-Bench, a calibration-centric benchmark for medical image classification with VLMs and Medical-VLMs. MVC-Bench assesses the calibration across three axes: (i) robustness to modality, backbone, and domain shift (ii) effectiveness of calibration strategies and prompt-tuning methods (iii) stability under prompt-template and random-seed variations. The benchmark covers eight different backbones, three medical modalities, including fundus imaging, histopathology, and chest X-ray under in-domain and domain shift settings. It compares post-hoc calibration, train-time calibration, and zero-shot inference methods, together with six prompt-tuning methods. Across more than 1638 controlled experiments, we report accuracy and Expected Calibration Error (ECE) as primary metrics, and further report results with complementary calibration measures, including Maximum Calibration Error (MCE) and Adaptive Calibration Error (ACE). We further investigate the underlying causes of miscalibration in VLMs and Medical-VLMs and propose a simple train-time calibration method, Multi-Class Margin (MCM) regularization, which achieves lowest ECE on 10 out of 12 settings in in-domain and remains competitive under domain shifts. Collectively, MVC-Bench provides a structured evaluation framework and actionable guidance for improving calibration in safety-critical medical workflows.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.27004v3제출 시각 미확인
  2. arXiv:2608.27004v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.