AIPatient Arena: 종단 간 임상 상담 워크플로에서 EHR 기반 대규모 언어 모델 평가
AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows
대규모 언어 모델(LLM)은 임상 상담 업무에 점점 더 활용되고 있으나, 대부분의 의학 평가는 정적이거나 단일 턴(single-turn)이거나 결과 중심으로만 이루어져 실제 진료가 갖는 순차적·불확실·상호작용적 특성을 반영하기 어렵다. 이에 우리는 임상 역량의 8개 차원에 걸쳐 LLM의 임상적 유용성을 평가하는 EHR 기반 평가 프레임워크인 AIPatient Arena를 제안한다. 이 프레임워크는 EHR 데이터를 환자별 지식 그래프(knowledge graph)에 통합하여 다중 턴(multi-turn) 의사-환자 상호작용을 가능하게 한다. AIPatient Arena를 437명 환자의 주 코호트와 119명 및 67명 환자의 두 개의 분포 외(out-of-distribution) 검증 코호트에 적용했다. LLM은 의학 면담 질문 기술(QS; 평균 점수 4.43-4.99/5), 윤리 및 전문적 태도(ET; 4.38-4.93/5), 임상 설명의 명확성 및 투명성(EX; 3.80-4.72/5)에서 우수한 성능을 보였다. 정보 통합(II; 3.19-4.21/5)과 약물 안전성 및 근거 제시(MS; 3.13-3.78/5)에서는 중간 수준의 성능을 보였으나, 모호한 환자 응답 처리(HR; 2.57-3.32/5), 정보 포괄성(IC; 2.08-3.02/5), 진단 정확도 및 추론(Dx; 2.63-3.55/5)에서는 지속적인 취약점이 관찰되었다. 과정 기반 평가는 반복적인 질문, 과거 병력 누락, 불확실성에 대한 부적절한 대응 등 반복되는 상호작용 실패를 드러냈다. 더 풍부한 대화 맥락은 진단 추론을 향상시켰지만 치료 계획 수립에서는 제한적인 개선만을 가져왔다. 이러한 결과는 최종 답변 정확도만으로는 임상 준비도를 평가하기에 불충분하며, 상담 전 과정에서 모델이 정보를 수집·해석·전달하는 방식을 평가하는 것이 중요함을 시사한다. AIPatient Arena는 의료 LLM의 워크플로 지향적 배포 전 평가를 위한 EHR 기반 프레임워크를 제공한다.