DiagTrace: 임상 의사결정을 위한 상호작용형 벤치마크
DiagTrace: An Interactive Benchmark for Clinical Decision Making
한국어 초록
대규모 언어 모델(LLM)은 의료 질의응답 및 진단 추론 벤치마크에서 강력한 성능을 보여 왔다. 그러나 기존 평가는 대체로 환자 정보를 처음부터 모두 제공하며 최종 진단이나 근거만을 평가한다. 이러한 설정은 실제 진단에서 불완전한 정보로부터 진단 증거를 점진적으로 획득해야 한다는 필요를 간과한다. 이러한 간극을 메우기 위해, 본 논문은 LLM이 상호작용적 정보 탐색을 통해 문서화된 진단 경로를 재구성할 수 있는지 평가하는 근거 기반 벤치마크인 DiagTrace를 제안한다. 각 벤치마크 인스턴스는 PubMed Central의 증례 보고서로부터 구축되며, 초기 증상 발현, 이벤트 뱅크, 임상 경과, 진단 참조 정보를 포함한다. DiagTrace는 8개 전문 분야에 걸친 510개 사례를 포함하며, 이 중 225개를 사용하여 4개의 LLM을 임상 경과 정렬, 상호작용 품질, 효율성 측면에서 평가한다. 결과는 포괄 범위, 출처와 일치하는 순서, 턴 사용 간에 상충 관계가 있음을 보여 준다.
원문 초록
Large language models (LLMs) have shown strong performance on medical question answering and diagnostic reasoning benchmarks. However, existing evaluations typically provide all patient information upfront and assess only the final diagnosis or rationale. This setup ignores the need to acquire diagnostic evidence incrementally from incomplete information in real-world diagnosis. To bridge this gap, we introduce DiagTrace, a source-grounded benchmark for evaluating whether LLMs can reconstruct the documented diagnostic trajectory through interactive information seeking. Each benchmark instance is built from a PubMed Central case report and includes an initial presentation, an event bank, a clinical course, and diagnostic references. DiagTrace contains 510 cases across eight specialties, with 225 used to evaluate four LLMs on clinical-course alignment, interaction quality, and efficiency. Results reveal trade-offs in coverage, source-consistent ordering, and turn use.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22009v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.