의료 상호운용성을 위한 폐루프 검증-수리: 임상 LLM의 스키마 준수에 관한 다중 모델 연구
Closed-Loop Validation-Repair for Healthcare Interoperability: A Multi-Model Study of Schema Compliance in Clinical LLMs
의료 상호운용성을 위해서는 AI 시스템이 진단 코딩을 위한 ICD-10, 시술 청구를 위한 CPT, 데이터 교환을 위한 HL7 FHIR 등 표준화된 스키마에 부합하는 구조화된 출력을 생성해야 한다. 대규모 언어 모델(LLM)은 임상 추론(clinical reasoning) 능력을 보여주지만, 전자 건강 기록(EHR) 시스템에 통합할 때 스키마 비준수라는 중요한 장벽에 직면한다. Qwen2.5 7B, Llama 3.1 8B, Gemma2 9B의 세 가지 오픈소스 모델을 10개 의료 전문 분야에 걸친 320개의 임상 시나리오에서 로컬 배포를 통해 평가하였으며, 기준선 및 검증-수리 조건 하에서 평가된 960개의 모델-시나리오 쌍을 도출하였다. 첫째, 스키마 비준수는 세 모델 계열에서 일관되게 나타났으며, 아키텍처와 학습 데이터가 달라도 기준선 준수율은 85.9%에서 91.6% 범위였다. 이는 모델별 한계라기보다 의료 학습 말뭉치의 공통된 공백을 시사한다. 둘째, 검증기가 탐지한 실패의 96%는 대체 의료 약어 및 코드 접두사와 같은 표현 수준의 형식 위반이었으며, 이는 모델이 임상 작성 관습은 따르지만 의료 IT 표준에 대한 인식이 부족함을 나타낸다. 셋째, 검증-수리 프레임워크는 전체 준수율 99.0%를 달성했으며, 모델별로 98.4%에서 99.4% 범위였고, 대부분의 오류는 한두 번의 반복 내에 해결되었다. 0.001 미만의 정확한 McNemar p-value와 모델 크기에 걸친 7.8~12.5%p의 절대 개선은 통계적 유의성을 확인한다. 이러한 결과는 폐루프 검증-수리가 의료 상호운용성을 위한 효과적인 시스템 수준의 안전장치이며, 하류 임상 시스템 통합을 위한 스키마 수준의 준비도를 향상시킨다는 점을 뒷받침한다.