응급 CT 및 MRI 검사를 판독하는 비전-언어 모델 에이전트의 진단 정확도와 탐색 행동
Diagnostic Accuracy and Navigation Behavior of Vision-Language Model Agents Reading Emergency CT and MRI Examinations
한국어 초록
목적. 다양한 탐색 전략 하에서 비전-언어 모델(VLM) 에이전트의 진단 정확도와 영상 탐색 행동을 평가한다. 대상 및 방법. 이 후향적 연구에서 6개의 VLM이 공개 아카이브(2025년 3월~2026년 8월)에 게시된 응급 CT 및 MRI 검사 100건을 네 가지 조건(자유 탐색, 핵심 슬라이스에서 시작하는 탐색, 단일 요청에 모든 슬라이스 또는 핵심 슬라이스 제공)에서 각각 두 번씩 판독했다(총 4800회 실행). 9명의 영상의학과 의사가 이 중 30건을 판독했다. 두 명의 영상의학과 의사와 대조하여 검증된 대규모 언어 모델 판정자가 답변을 채점했다. 조건 간 비교는 증례별로 군집화한 일반화 추정 방정식으로 수행했다. 결과. 통합 정확도는 자유 탐색에서 가장 낮았고(32.6%; 391/1200), 핵심 슬라이스에서 시작하는 탐색이 그다음이었으며(37.9%; 455/1200; P = .003), 한 번의 요청에 모든 슬라이스(42.2%; 506/1200) 또는 핵심 슬라이스(42.5%; 510/1200)를 제공한 경우가 가장 높았다(둘 다 P < .001). 영상의학과 의사가 판독한 30건에서 자유롭게 탐색한 모델은 30.0%의 실행에서 정답이었던 반면(108/360), 영상의학과 의사는 77.0%였다(208/270; P < .001). 모델은 슬라이스의 중앙값 10.8%를 본 후 첫 가설을 세웠고 63.1%의 실행에서 이를 유지했다(755/1196). 최종 답변은 첫 가설이 틀린 뒤에는 12.4%의 실행에서 정답이었던 반면(110/885), 맞은 뒤에는 90.4%였다(281/311; P < .001). 최종 답변에 대해 제시된 확신도의 중앙값은 90%였으나 정답 비율은 38.9%였다(1861/4778). 결론. 모든 탐색 전략에 걸쳐 VLM 에이전트는 영상의학과 의사보다 정확도가 훨씬 낮았다. 이들은 이른 시점에 가설을 채택하고 대체로 이를 유지했으며, 틀린 가설을 수정하는 경우는 드물었다.
원문 초록
Purpose. To evaluate the diagnostic accuracy and image navigation behavior of vision-language model (VLM) agents under varying exploration strategies. Materials and Methods. In this retrospective study, six VLMs read 100 emergency CT and MRI examinations published in a public archive (March 2025-August 2026) under four conditions (free navigation, navigation from a key slice, and all slices or key slices in a single request), twice each (4800 runs). Nine radiologists read 30 of those cases. A large language model judge validated against two radiologists graded the answers. Conditions were compared with generalized estimating equations clustered by case. Results. Pooled accuracy was lowest under free navigation (32.6%; 391/1200), followed by navigation from a key slice (37.9%; 455/1200; P = .003), and highest with all slices (42.2%; 506/1200) or key slices (42.5%; 510/1200) in one request (both P < .001). On the 30 cases read by radiologists, freely navigating models were correct in 30.0% of runs (108/360) versus 77.0% for radiologists (208/270; P < .001). Models formed a first hypothesis after a median of 10.8% of the slices and kept it in 63.1% of runs (755/1196); final answers were correct in 12.4% of runs after a wrong first hypothesis (110/885) versus 90.4% after a right one (281/311; P < .001). Median stated confidence in the final answers was 90%, whereas 38.9% of them were correct (1861/4778). Conclusion. Across all exploration strategies, VLM agents remained far less accurate than radiologists. They adopted an early hypothesis and usually kept it, seldom correcting a wrong one.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23480v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.