배포 중심 평가: 임상 LLM 시스템에서 쿼리 수준 거부 위험 예측
Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System
대규모 언어 모델(LLM)이 임상 시스템에 점점 더 많이 통합됨에 따라, 이러한 시스템의 실세계 유용성을 평가하는 것이 필수적이 되었다. 그러나 정적 벤치마크는 사용자 수용도보다 정확성을 측정하고, 쿼리 전반에 걸쳐 성능을 집계하며, 밀도 있게 주석이 달린 데이터셋을 필요로 하는 경향이 있어 임상 시스템 평가에 있어 주요한 사각지대를 초래한다. 본 연구에서 우리는 학술 의료 센터의 전자 건강 기록에 내장된 LLM 시스템에 대한 배포 중심 평가를 수행하며, 이 환경에서 사용자 피드백은 희소하지만 배포 조건을 밀접하게 반영한다. 구체적으로, 우리는 생성 이전에 확보 가능한 쿼리 내용 및 배포별 컨텍스트를 기반으로 향후 상호작용에서 사용자가 LLM 응답을 거부할 위험을 추정하는 응답 전(pre-response) 분류기를 학습한다. 우리는 4.5개월간의 사용자 피드백에 대해 모델의 전향적 분석을 수행하여, 예측 모델이 0.719의 AUROC를 달성함을 확인하였다. 또한, 두 가지 다운스트림 활용 사례(가드레일 트리거링 및 기권(abstention))에서 이러한 예측의 효용을 추정한다. 핵심적인 개념적 통찰은, 쿼리 내용만을 사용하는 것이 아니라 배포별 컨텍스트(즉, 의료 제공자 유형, 부서명, 응답에 사용된 언어 모델)를 활용하는 것이 사용자가 시스템 출력을 거부할지 여부를 예측하는 능력을 향상시킨다는 점이다. 종합적으로, 우리의 실증적 사례 연구는 배포별 컨텍스트를 활용한 사용자 거부 예측의 실현 가능성을 입증하며, 타겟화된 가드레일로 나아가는 문을 열어준다.