PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09142v3cs.AI

MedRealMM: 중국 온라인 의료 상담을 위한 실세계 멀티모달 벤치마크

MedRealMM: A Real-World Multimodal Benchmark for Chinese Online Medical Consultation

대규모 언어 모델(LLM)은 온라인 의료 상담에 점점 더 많이 배포되고 있으나, 기존 벤치마크는 실제 임상 진료와의 정합성이 낮다. 많은 벤치마크가 합성 대화나 환자 시뮬레이터에 의존하거나, 환자가 업로드한 의료 이미지를 생략하거나, 임상 품질을 제대로 반영하지 못하는 객관식 또는 어휘 중복 지표로 개방형 임상 응답을 평가한다. 본 논문에서는 전국 단위 중국 인터넷 병원에서 수집된 비식별화된 환자-의사 상호작용을 기반으로 구축한 멀티모달 온라인 의료 상담용 대규모 벤치마크인 MedRealMM을 소개한다. MedRealMM은 멀티모달 임상 도전 지점(MCCP, Multimodal Clinical Challenge Point) 추출 프레임워크를 활용하여 실제 상담 궤적에서 임상적으로 까다로운 순간을 식별하고, 이전의 텍스트-이미지 컨텍스트를 보존하면서 각각을 표준화된 다음 응답 생성 과제로 변환한다. 각 인스턴스에는 임상적으로 바람직한 행동에 보상을 부여하고 불안전하거나 근거 없거나 모순된 응답에 페널티를 부과하는, 의사가 정제한 사례별 루브릭이 함께 제공된다. 현재 공개된 버전은 64개 임상 과에 걸쳐 5,620개의 실세계 멀티모달 케이스를 포함한다. 텍스트 전용 시스템과 멀티모달 시스템을 포함하여 범용 및 의료 특화 LLM 19개를 평가한다. 결과에 따르면 이미지 정보는 신뢰할 수 있는 임상 성능에 매우 중요하며, 현재 최전선 모델들은 온라인 의사 응답 수준에 미치지 못한다. 일부 최전선 모델은 의사만큼 또는 그 이상의 긍정적 임상 기준을 충족하지만, 더 많은 부정적 기준을 유발하여 안전성에 민감한 오류 회피가 여전히 핵심 병목임을 나타낸다. MedRealMM은 실세계 온라인 상담에서 멀티모달 의료 추론을 평가하기 위한 현실적이고 재현 가능한 벤치마크를 제공한다. 데이터셋은 https://huggingface.co/datasets/jdh-algo/MedRealMM에서 Hugging Face를 통해 공개될 예정이다.

arXiv:2606.28900v1cs.AI

MedEvoEval: Evaluating Continual Evolution of Doctor Agents through Simulated Clinical Episodes

Doctor agents are moving beyond single-turn answer generation toward evolving clinical decision systems. Within an outpatient episode, they acquire evidence, use examination and consultation resources, and decide when to finalize a diagnosis and management plan. Across episodes, their behavior may change through memory, retrieval, reflection, or other update mechanisms. Current evaluations only partially cover this setting. Fixed-input medical QA benchmarks score final answers from complete inputs, whereas many interactive benchmarks still focus on individual encounters or fixed runs, providing limited support for evaluating how episode-level decisions interact with cross-episode experience. We introduce MedEvoEval, an executable longitudinal evaluation framework based on action-gated simulated outpatient episodes. Each source case is converted into role-specific patient, examination, and manager views; evidence is revealed only through valid actions; and each episode records a structured trace that links observations, actions, final outputs, manager scores, and optional experience write-back. We release a runnable E&D artifact with 700 processed episodes, provenance notes, schemas, an episode runner, scoring scripts, configurations, example logs, analysis code, and trajectory- and step-level derivatives. Experiments show that episode traces expose process costs hidden by final-answer scoring, show how MDT-style consultation reallocates resources, and support longitudinal analyses of memory maturation, held-out transfer, update-stage response, and backward retention. Together, these results show that MedEvoEval provides a concrete basis for evaluating whether doctor agents improve through experience, transfer useful behavior, and retain earlier capabilities over time.

arXiv:2509.19671v3cs.LG

임상 맥락을 활용한 흉부 X-ray 모델 성능 주장 재검토

Revisiting Performance Claims for Chest X-Ray Models Using Clinical Context

흉부 X-ray(CXR) 공개 데이터셋은 오랫동안 헬스케어 분야에서 기계학습(ML) 컴퓨터 비전(CV) 모델을 개발하기 위한 인기 있는 벤치마크였다. 그러나 이러한 모델의 보고된 강력한 평균 케이스 성능은 이질적인 임상 환경에서 사용될 때 실제 유용성을 반드시 반영하는 것은 아니며, 의학적으로 중요한 시나리오에서의 더 낮은 성능을 가릴 수 있다. 본 연구에서는 CXR 진단을 위한 모델에 대한 보다 포괄적인 평가를 제공하기 위해 임상 맥락을 활용한다. 구체적으로, 각 CXR 이전에 기록된 퇴원 요약을 사용하여 각 CXR 라벨에 대한 ``pre-CXR'' 확률을 도출하며, 이는 CXR 해석 시 임상의에게 제공되는 기존 맥락적 지식의 대리 지표로 삼는다. 우리는 이 측정값을 사용하여 두 가지 차원에서 모델 성능을 탐구한다. 첫째, 층화 분석(stratified analysis)을 통해 pre-CXR 확률이 높은 개인들 사이에서 모델이 (AUROC 및 기타 지표로 측정할 때) 더 낮은 성능을 보이는 경향이 있음을 보인다. 둘째, 매칭(matching)과 재가중(re-weighting)을 통해 pre-CXR 확률을 통제함으로써, 사전 맥락과 현재 CXR 라벨 간의 상관관계가 깨질 때 성능이 저하됨을 보여 주며, 이는 모델 성능이 임상 맥락의 기저 분포에 매우 민감함을 시사한다. 특히, 사전 검사 확률(pre-test probability)이 높은 케이스는 근본적으로 더 어려운 시각적 분류 과제를 제시하며, 고위험 코호트(high-risk cohort)에 모델을 적용할 때 임상적 유용성의 격차를 부각한다.