arXiv:2604.14892v4 cs.LG

LLM은 의료 진단과 임상 추론을 정확하게 채점할 수 있는가?

Can LLMs Accurately Score Medical Diagnoses and Clinical Reasoning?

Amy Rouillard, Sitwala Mundia, Linda Camara, Ziyaad Dangor, Michael Cameron Gramanie, Ismail Kalla, Shabir A. Madhi, Kajal Morar, Marlvin T. Ncube, Haroon Saloojee, Bruce A. Bassett

제출 2026-04-16

한국어 초록

전문 임상의 패널을 활용한 의료 AI 시스템 평가는 비용이 많이 들고 느리기 때문에, 대규모 언어 모델(LLM)을 대체 판정자로 활용하려는 시도가 이루어지고 있다. 본 연구에서는 세 가지 최첨단(frontier) AI 모델로 구성된 LLM Jury를 평가하며, 이는 저소득 및 중간소득 국가(LMIC) 병원의 실제 사례 300건에 대한 진단 3334건을 채점하는 데 사용된다. LLM이 생성한 진단과 임상의가 생성한 진단은 모두 전문가 패널의 진단을 기준으로 네 가지 차원, 즉 진단, 감별 진단, 임상 추론, 부정적 치료 위험(negative treatment risk)에 대해 채점된다. LLM Jury의 점수는 전문가 패널 및 독립적인 재채점 패널의 점수와 비교하여 오류 지표, 평가자 간 일치도, 심각한 위험 오류, 그리고 등張 회귀(isotonic regression)를 이용한 사후(post hoc) 보정의 효과를 평가한다. 본 데이터에서 다음과 같은 결과를 확인하였다. (i) 보정하지 않은 LLM Jury 점수는 전문가 임상의 패널 점수와의 서수 일치도를 유지하지만 체계적으로 더 낮다. (ii) 심각한 위험 오류가 발생할 확률은 인간 전문가 재채점 패널보다 LLM Jury에서 더 낮다. (iii) LLM Jury를 LLM 진단과 결합하면 오류 위험이 높은 진단을 식별할 수 있어, 표적화된 전문가 검토와 패널 효율성 향상이 가능하다. (iv) 보정된 LLM Jury의 점수와 진단 에이전트(agent)의 순위는 1차 전문가 패널의 것과 매우 높은 일치도를 보인다. (v) LLM Jury 모델은 자기 선호 바이어스(self-preference bias)를 보이지 않는다. 즉, 자신의 기반 모델이나 동일 벤더의 모델이 생성한 진단을 다른 모델이 생성한 진단보다 더 우호적으로(또는 덜 우호적으로) 채점하지 않았다. 종합하면, 이러한 결과는 보정된 LLM Jury가 의료 AI 벤치마킹에서 전문가 임상 평가를 대신할 수 있는 신뢰할 수 있고 믿을 만한 대리 지표임을 뒷받침하는 근거를 제공한다. 이러한 결과를 다른 임상 환경에서 확인하는 것은 향후 연구의 중요한 방향이다.

원문 초록

Evaluating medical AI systems using expert clinician panels is costly and slow, motivating the use of large language models (LLMs) as alternative adjudicators. Here, we evaluate an LLM Jury, composed of three frontier AI models, for scoring 3334 diagnoses on 300 real-world low- and middle-income country (LMIC) hospital cases. Both LLM- and clinician-generated diagnoses are scored against expert panel diagnoses across four dimensions: diagnosis, differential diagnosis, clinical reasoning, and negative treatment risk. The LLM Jury scores are compared with expert and independent re-scoring panel scores to assess error metrics, inter-rater agreement, severe-risk errors, and the effect of post hoc calibration using isotonic regression. In our data, we find that: (i) the uncalibrated LLM Jury scores preserve ordinal agreement with the expert clinician panel scores, but are systematically lower; (ii) the probability of severe-risk errors is lower for the LLM Jury than the human expert re-score panels; (iii) the LLM Jury combined with LLM diagnoses can be used to identify diagnoses at high risk of error, enabling targeted expert review and improved panel efficiency; (iv) the calibrated LLM Jury scores and rankings of diagnosing agents show excellent agreement with those of the primary expert panels; (v) LLM Jury models show no self-preference bias, they did not score diagnoses generated by their own underlying model or models from the same vendor more (or less) favourably than those generated by other models. Together, these results provide evidence that a calibrated LLM Jury is a trustworthy and reliable proxy for expert clinician evaluation in medical AI benchmarking. Confirming these findings in other clinical settings is an important direction for future work.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.14892v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.