정확하고 일관된 응급중증도지수(Emergency Severity Index, ESI) 부여는 응급실에서 여전히 지속적인 과제로 남아 있으며, 매우 가변적인 자유 텍스트 트리아지 기록이 오분류(mistriage)와 업무 흐름 비효율성을 야기한다. 본 연구는 오픈소스 소형 언어 모델(Small Language Model, SLM)이 임상 트리아지를 위한 신뢰할 수 있고 프라이버시를 보존하는 의사결정 지원 도구로 활용될 수 있는지를 평가한다. 다양한 프롬프트 파이프라인에 걸쳐 여러 SLM을 체계적으로 비교한 결과, 트리아지 기록을 간결하게 요약한 임상 비네트(clinical vignette)가 가장 정확한 예측을 산출함을 확인했다. SLM 중 Qwen2.5-7B가 정확도, 안정성, 계산 효율성 간의 균형이 가장 우수한 것으로 나타났다. 전문가가 큐레이션한 데이터와 실버 표준(silver-standard) 소아 트리아지 데이터를 활용한 대규모 도메인 적응을 통해, 미세조정된 Qwen2.5-7B 모델은 불일치(discordance)와 임상적으로 중요한 오류를 크게 줄였으며, 모든 기준선 SLM과 GPT-4o와 같은 고급 독점 대규모 언어 모델(LLM)을 능가했다. 이러한 결과는 신뢰할 수 있고 프라이버시를 보존하는 ESI 의사결정 지원을 위한 기관별 SLM의 실현 가능성을 보여주며, 더 복잡한 추론 전략보다 표적화된 미세조정의 중요성을 강조한다.
응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.