임상 추론 그래프: LLM 진단 추론의 구조적 평가를 통해 드러난 일관성 없는 역량
Clinical Reasoning Graphs: Structured Evaluation of LLM Diagnostic Reasoning Reveals Competence Without Consistency
현대의 대규모 언어 모델(LLM)은 복잡한 임상 사례 벤치마크에서 60~70%의 진단 정확도에 도달하지만, 정확도만으로는 안정적인 임상 기반 추론과 패턴 매칭을 구별할 수 없다. 우리는 5가지 노드 유형과 7가지 엣지 유형을 갖는 도메인 기반 온톨로지를 사용하여 자유 형식의 LLM 진단 추적에서 추출한 구조적 그래프 표현인 임상 추론 그래프를 소개한다. 이 파이프라인을 50개의 New England Journal of Medicine 임상병리학 컨퍼런스 사례와 세 가지 프롬프트 조건에 걸쳐 다섯 개 모델에서 생성된 750개의 추적에 적용하고, 임상적으로 유사한 사례들에서 진단 추적이 안정적인 구조적 추론 패턴, 즉 진단 스키마를 보이는지 검증하였다. 이를 임상적으로 유사한 사례 쌍 간의 그래프 유사도가 임상적으로 유사하지 않은 사례 쌍보다 높은지로 조작적 정의하였다. 15개의 모델-조건 비교 전반에 걸쳐 클러스터 내 및 클러스터 간 복합 유사도는 거의 동등하였으며, 다중 검정 보정을 통과한 비교는 없었다. 구성 요소 수준 분석에서도 잔여 콘텐츠 신호는 스키마 수준에 크게 미치지 못하였다. 그래프 유사도는 두 모델이 모두 정답인 쌍(0.488)과 모두 오답인 쌍(0.484)에서도 거의 동일하여, 그래프 구조가 진단 정확도에 반영되지 않는 차원을 포착함을 시사한다. 구조적 반성 프롬프트는 추적 내 명시적 판별 특징 분석을 증가시켰으나(+33%), 사례 간 일관성은 높이지 못하였다. 이러한 결과는 스키마 수준의 추론 일관성 없이도 진단 역량이 존재함을 보여주며, 최종 답변 정확도가 프로세스 수준 평가로 보완되어야 함을 나타낸다. 우리는 LLM 임상 추론의 구조적 평가를 위한 자원으로서 온톨로지, 추출 파이프라인, 검증 프로토콜, 그리고 추출된 추론 그래프와 유사도 결과물을 공개한다.