퇴원 안내서에서 환자 이해까지: 페르소나 기반 개방형 시뮬레이션으로 본 퇴원 교육자 LLM
From Discharge Notes to Patient Understanding: Persona-Grounded, Open-Ended Simulation of LLMs as Discharge Educators
한국어 초록
병원 퇴원 교육은 상호작용적 교수 과업이다. 임상의는 환자의 문해력, 기억력, 성격에 맞춰 퇴원 계획을 조정한다. 기존 LLM 평가는 정적 과업이나 산출물 생성 과업을 대상으로 하며, 개방형 대화에서의 환자 이해를 측정하지 않는다. 우리는 후보 LLM 교육자가 가상 환자(Virtual Patient)와 다턴 세션을 진행하는 페르소나 기반 시뮬레이션 DischargeBench를 제안한다. 이때 Education Monitor 에이전트가 교육자를 수정하지 않은 채 환자의 현실성을 조절하여 평가 신호를 보호한다. 24개 ICD 장(chapter)에 걸친 477건의 MIMIC-IV-Ext-DischargeBench를 구축했으며, 페르소나 축(성격, 교육 수준, 건강 문해력, 과거 병력 회상)으로 층화 분석이 가능하다. 각 시뮬레이션은 의사 주석에 정렬된 LLM-as-a-Judge로 대화 품질(Conversation Quality), 주제 체크리스트(Topic Checklist), 이해(Comprehension), 사실 일관성(Factual Consistency) 네 축에서 채점된다. 폐쇄형·오픈소스 LLM 전반에서 집계 점수는 ICD 장과 환자 페르소나에 따른 임상적으로 의미 있는 변동을 가린다. 어려운 페르소나는 주제 커버리지 실패, 이해 공백, 출처-답변 일치 저하를 드러낸다. 퇴원 교육을 위한 LLM 평가는 텍스트 품질이나 답변 정확도만이 아니라 환자 이해를 중심에 두어야 한다.
원문 초록
Hospital discharge education is an interactive teaching task: a clinician adapts a discharge plan to a patient's literacy, recall, and personality. Existing LLM evaluations target static or artifact-generation tasks and do not measure patient understanding under open-ended dialogue. We introduce DischargeBench, a persona-grounded simulation in which a candidate LLM educator conducts a multi-turn session with a Virtual Patient, while an Education Monitor Agent regulates patient realism without modifying the educator, protecting the evaluation signal. We curate MIMIC-IV-Ext-DischargeBench, 477 cases over 24 ICD chapters with persona axes (personality, education level, health literacy, past-medical-history recall) for stratified analysis. Each simulation is scored on four axes -- Conversation Quality, Topic Checklist, Comprehension, and Factual Consistency -- by an LLM-as-a-Judge aligned against physician annotations. Across closed- and open-source LLMs, aggregate scores conceal clinically relevant variation across ICD chapters and patient personas; difficult personas expose coverage failures, comprehension gaps, and reduced source-answer agreement. LLM evaluation for discharge education should center patient understanding, not text quality or answer accuracy alone.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.20827v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.