대규모 언어 모델(LLM) 어시스턴트가 여러 의료 시스템 전반에서 임상의들에게 배포되고 있으며, 이러한 모델의 준비도에 대한 판단은 대부분 시험 문제나 선별된 사례에서 도출된 벤치마크 점수에 크게 의존하고 있습니다. 벤치마크는 그 평가 항목이 실제 사용 환경과 유사한 수준에서만 배포 시의 성능을 예측할 수 있지만, 벤치마크가 이들 시스템이 실제로 처리하는 업무를 얼마나 잘 반영하는지는 거의 측정된 바 없습니다. 본 연구에서는 8개월간의 배포 과정 동안 35개 전문 분야의 의사, 상급 실무 제공자, 간호사 등 6,342명이 기관용 어시스턴트에 전송한 127,833개의 쿼리를 분석합니다. 임상 질의 및 LLM 평가 분류 체계에 기반하고 임상의의 검증을 거친 프레임워크인 RCQ-Map을 통해 각 쿼리를 특성화하여 태스크, 의도, 답변 가능성, 누락된 정보, 잠재적 위해성을 기록합니다. 문서화 및 행정 업무(36.2%)와 지식 검색(28.9%)이 전체 사용의 3분의 2 가까이를 차지한 반면, 진단은 3.7%에 불과했으며, 쿼리의 3분의 1 이상은 제시된 형태 그대로는 적절한 답변이 불가능했습니다. 주요 평가 스위트와 프론티어 모델 보고서에서 추출하여 Clinical AI Benchmark Atlas로 구성한 58개의 공개 벤치마크에 RCQ-Map을 적용한 결과, 중간값 기준 벤치마크에는 문서화 요청이 전혀 포함되어 있지 않았으며, 실제 사용의 태스크 구성과 일치하는 비율은 태스크 카테고리 전반에 균등하게 분산되었을 때보다도 낮은 31%에 그쳤습니다. 임상 진료 환경을 반영하도록 설계된 스위트에 포함된 벤치마크들도 개별적으로 볼 때 프론티어 모델 보고서에 사용된 벤치마크보다 실제 사용에 더 가깝지 않았습니다. 따라서 벤치마크 점수는 임상 AI가 실제로 부여받는 대부분의 업무에서 어떻게 동작하는지에 대해 거의 알려주지 못하며, 평가는 실제 임상적 활용에 부합하도록 이루어져야 합니다.
지능형 의료 공학 학부 프로그램은 확대되고 있으나, 실험실 교육과정은 임상 AI의 다중 양식, 롱테일, 분포 변화 현실에 뒤처져 있다. 본 설계 논문은 진행 중인 자궁내막암 다중 양식 심층 학습 연구 프로젝트를 구조화된 학부 실험실 시퀀스로 전환하는 고급 실험 교수 시스템을 제시한다. 우리는 세 가지 교육 격차(양식성, 현실성, 배포)를 식별하고, 구성적 정렬(constructive alignment), 체험 학습(experiential learning), 연구-교육 연계(research teaching nexus), CDIO 프레임워크로부터 네 가지 교육학적 원칙을 도출한다. 교육과정은 4단계 점진적 티어와 엔지니어링 층으로 구성되며, 64 접촉 시간에 걸쳐 32개 실험실 단원을 포함하고, 비식별화된 다기관 데이터를 사용하는 맞춤형 가상 임상 워크스테이션을 통해 제공된다. 각 티어는 특정 기술적 병목, 선수 과목, 기준 참조 산출물에 대응한다. 데이터 거버넌스, 안전성, 평가 프로토콜을 명시한다. 학습 성과 데이터는 두 번의 구현 주기에 걸쳐 수집될 예정이다.
대규모 언어 모델(LLM)은 의료 벤치마크에서 우수한 점수를 달성하지만, 이러한 벤치마크는 각 질문을 독립적으로 평가하여 서로 다른 개입이 필요한 임상적으로 유사한 양상을 시스템이 구별할 수 있는지를 측정하지 못한다. 우리는 모자보건 및 소아 AI를 위한 최초의 역실적 벤치마크인 MamaBench를 제안한다. 371개 병리에 걸쳐 217쌍으로 구성된 전문가 작성 434개의 임상 내러티브를 Bias Trap Rate(BTR)로 평가하며, BTR은 기본 사례에서 성공한 조건 하에서 모델이 역실적 사례에 실패할 조건부 확률이다. 우리는 Evidence-Anchored RAG(EA-RAG)를 제안한다. 이는 임상 매개변수 추출, 커버리지 감사, 대조적 서브쿼리를 통해 집계 유사도를 증거 커버리지 목표로 대체하는 3단계 검색 방법이다. 4개의 최신 LLM에 대한 8가지 구성에서 기본 정확도는 모든 모델에서 견고 정확도를 16–28퍼센트포인트 과대평가한다. EA-RAG는 Claude Sonnet 4.6에서 20.3% BTR과 65.0% 견고 정확도를 달성하여, 기본 정확도를 저하시키지 않으면서 BTR을 5.5퍼센트포인트 줄였다. 잔여 20% BTR은 임상 AI에서 역실적 견고성이 여전히 열린 과제임을 확인한다. Keywords: counterfactual evaluation, clinical AI, maternal healthcare, retrieval-augmented generation, diagnostic robustness
근골격계 질환은 전 세계적으로 장애의 주요 원인 중 하나이며, 재활에 대한 가장 큰 전 지구적 수요를 만들어낸다. 회복, 재형성 및 퇴행이 종종 수개월에서 수년에 걸쳐 진행되기 때문에, 근골격계 치료는 진행 중인 환자 근거, 외부 의학 지식, 단계별 기능 목표를 반복적으로 통합하는 종단적 관리가 필요하다. 일상적인 진료에서는 이러한 근거가 방문, 진료과, 병원 시스템에 걸쳐 분절되어 있어 개인 맞춤형 근거 기반 치료를 제한한다. 여기서는 병원 데이터 스트림과 권위 있는 외부 지식을 통합하여 지속적인 근골격계 관리를 수행하는, 대규모 언어 모델 기반 임상 인공지능 시스템인 OrthoPilot을 보고한다. OrthoPilot은 실시간 영상, 검사실, 병리 및 처방 데이터를 자율적으로 검색하고, 입원 진단부터 재활 계획에 이르기까지 진행 중인 환자 상태를 근거 기반 의사결정으로 전환한다. 1,000개 질병 코드에 걸친 실제 전자건강기록으로부터 전문의 검증 벤치마크를 구축했다. 전체 치료 경로에 걸친 리더 연구(reader study)에서 OrthoPilot은 81명의 정형외과 의사와 비교되었으며, 25년 경력의 전문가를 진단 추론, 임상 의사결정 및 관리 계획에서 능가했다. 또한 60개 외부 임상 센터에서 평가된 모든 지능형 시스템을 능가했다. 1,870건의 복잡한 사례에 대한 전향적 연구에서 OrthoPilot은 전체 경로 관리 성공률을 10.6% 높였다. 8,240명의 입원 환자를 포함한 8개월간의 무작위 배포에서 병상당 누적 사례 수를 9.7% 증가시키고 환자 보고 건강 정보 접근성을 개선했다. 이러한 결과는 임상 AI를 고립된 사건 예측에서 전체 근골격계 치료 경로에 걸친 종단적 관리 실행으로 나아가게 한다.
정확한 생존 예측을 위해 모든 암 환자에게 완전한 진단 검사가 반드시 필요한가? 다중모달 임상 종양학에서 진단 모달리티는 임상적으로 규정된 부담 증가 순서를 따른다 -- 초기 접수 시 수집되는 인구통계학적 정보부터 전문적인 조직 분석을 요하는 유전체 프로파일링까지. 현재의 다중모달 생존 예측 방법들은 모든 모달리티가 가용하다고 가정하거나 누락 데이터를 수동적으로 처리하지만, 이 순서화된 워크플로우에서 특정 환자에게 다음 모달리티 획득이 정당한지 능동적으로 추론하는 방법은 존재하지 않는다. 우리는 이를 순차적 의사결정 문제로 정식화하고, 예측 정확도와 임상적 침습성 간의 균형을 맞추며 각 환자에 대해 획득할 진단 모달리티를 결정하는 자기진화형 대규모 언어 모델(LLM) 기반 임상 에이전트인 SAGEAgent(Sequential Acquisition Guided by Experience)를 제안한다. SAGEAgent는 수치 예측을 텍스트로 변환하는 임상 도구, 유사한 과거 사례를 검색하는 에피소딕 메모리(episodic memory), 그리고 경험으로부터 재사용 가능한 의사결정 패턴을 축적하는 시맨틱 메모리(semantic memory)를 통해 각 환자의 변화하는 진단 상태를 추론한다. TCGA-LGG, TCGA-GBM, BraTS를 결합한 신경교종 코호트에서 4가지 진단 모달리티를 활용한 실험을 통해, SAGEAgent가 평균 획득 부담을 55% 줄이면서 경쟁력 있는 생존 예측 정확도를 달성함을 입증한다.
의료 분야에서 LLM의 임상 추론 역량을 평가하기 위해 Miller's Pyramid를 기반으로 한 5단계 역량 체계와 연역·귀납·귀추 추론 유형을 연결하는 이중 관점 프레임워크를 제안하며, 18개 최신 모델을 대상으로 구축한 5,000개 샘플 벤치마크 평가 결과 의료 전문 모델은 진단 중심 과제에, 범용 모델은 의사결정 지원 및 대화 과제에 강점을 보이는 것으로 나타났다.
의료 계산 분야에서 대규모 언어 모델(LLM)을 평가하는 현재의 벤치마크는 대부분 단순화된 설정에 기반하며, 각 환자 사례가 단일 계산기에 대응되고 필요한 도구가 쿼리에 명시적으로 지정된다. 그러나 실제 임상 시나리오에서는 종종 복수의 계산기를 이용한 복합 평가, 중첩 척도 계산, 그리고 목표 계산기를 직접 명시하지 않는 퍼지 쿼리가 요구된다. 이를 위해 우리는 새로운 의료 계산 벤치마크인 MedCalc-Pro를 제안한다. MedCalc-Pro는 단일 계산기, 다중 계산기, 중첩 계산기 계산 설정이라는 세 가지 점진적으로 난이도가 높아지는 태스크 설정을 포함한다. MedCalc-Pro는 14개 임상 진료과에 걸쳐 77개의 의료 계산기를 포괄하는 2,268개의 실제 임상 사례를 담고 있다. 또한, 복잡한 임상 시나리오에서 기존 프레임워크와 방법의 성능 한계를 극복하기 위해, 다중 도구 선택과 중첩 도구 호출을 지원하면서 구조화된 검증과 증거 검토를 통해 매개변수 오류 전파를 억제하는 보다 범용적인 에이전트 프레임워크를 추가로 제안한다. 오픈소스, 클로즈드소스, 의료 특화 LLM에 걸쳐 체계적인 비교 실험을 수행하였으며, 결과적으로 우리의 프레임워크가 세 가지 태스크 설정 모두에서 최고 성능을 달성함을 보인다. 본 연구는 도전적인 의료 계산 시나리오에서 LLM을 평가하고 적용하기 위한 새로운 벤치마크와 방법론을 제공한다.
Physicians now pose millions of clinical questions to AI tools each week, yet these tools are evaluated largely on hypothetical or exam-style questions, not those actually asked in practice. We report a blinded evaluation built on 620 Real-world Point-Of-Care Queries (Real-POCQi) submitted to the OpenEvidence (OE) platform by physicians spanning 30 specialties, as well as 187 questions from HealthBench. 149 practicing physicians across 36 states made head-to-head comparisons between answers from three frontier general-purpose models (Claude Opus 4.8, Gemini 3.1 Pro, and GPT-5.5) and a specialized clinical tool (OE), with graders matched to each question's specialty. When comparing answers along five dimensions relevant to clinical decision support -- accuracy, clinical utility, source quality, verifiability, & completeness -- physicians scored the specialized tool highest on all axes; in the primary analysis on Real-POCQi, win differences (margins between win and loss rates) ranged from 25 to 39 percentage points (p<0.001). Results remained consistent in sensitivity analyses stratifying by citation display, answer length, OE-user status, and Real-POCQi versus HealthBench. In parallel, LLM judges were found to systematically differ from expert judges, though both generally agreed on the best model. These findings underscore two conclusions: (i) AI tool evaluations should reflect real-world query distributions and use expert judges that mirror the specialization defining modern medicine and (ii) the consistent advantage of the specialized tool over general-purpose models does not necessarily mean that the latter cannot serve similar purposes, but that targeted engineering and customization can yield meaningful gains in performance for its users. We release Real-POCQi as a public benchmark, as well as the prespecified statistical analysis for reproducing results of this study.
의료 AI는 여전히 고립된 모델 중심으로 구성되어 있지만, 임상 진료는 시간에 걸쳐 지속되는 책임 있는 역량을 요구한다. 우리는 임상 AI 스킬(clinical AI skills)과 Clinical Harness를 제안한다. 이는 AI 기반 임상 역량을 등록, 오케스트레이션, 보호, 모니터링하기 위한 런타임 거버넌스(runtime governance) 아키텍처이다. 골다공증(osteoporosis)을 사례로, 지식 기반(knowledge-driven), 데이터 기반(data-driven), 물리학 강화(physics-enhanced) 스킬이 런타임 거버넌스 하에서 생애주기(lifecycle) 진료를 어떻게 지원할 수 있는지 보여준다.