성능 대 일관성: Lung-RADS 스크리닝에서 파운데이션 모델 평가
Performance vs Consistency: Evaluating a Foundation Model in Lung-RADS Screening
파운데이션 모델은 최근 다양한 의료 영상 과제에서 강력한 역량을 보여주었다. 그러나 구조화된 임상 해석 환경에서의 성능은 여전히 충분히 탐구되지 않았다. 폐암 스크리닝에서는 Lung-RADS와 같은 표준화된 프레임워크에도 불구하고 해석상 변동성이 지속된다. 본 연구에서는 Gemini에서 파생된 의료 범용 파운데이션 모델 MedGemma와 폐암 검출 및 진단에 맞게 미세조정한 버전을, NLST 데이터셋에서 Lung-RADS v2022 평가를 수행한 방사선 전문의들과 비교하여 평가한다. 12명의 방사선 전문의가 다중 판독자 설계 하에서 각 사례를 독립적으로 평가하여 판독자 간 변동성을 정량화할 수 있게 했다. 방사선 전문의는 평균 AUC 0.90을 달성했으며, 판독자 간 상당한 변동성(범위: 0.80–0.94)을 보였다. 네이티브 파운데이션 모델은 AUC 0.70을 달성하여 임상적으로 유의미한 성능에 도달하지 못했다. 반면 미세조정은 성능을 AUC 0.83까지 유의미하게 향상시켜, 모델을 개별 방사선 전문의 성능의 하한 범위 안에 두었다. 이러한 결과는 최고 정확도와 예측 일관성 사이의 상충 관계를 부각한다. 방사선 전문의와 달리, 고정된 조건에서 모델은 결정론적 출력을 생성하여 동일 입력에 대한 실행 간 변동성을 제거하며, 이는 방사선 전문의 사이에서 관찰되는 판독자 간 변동성과 대조된다. 이는 특히 전문성이 제한된 환경에서 임상 의사결정 지원을 위한 미세조정 파운데이션 모델의 잠재적 보완적 도구로서의 역할을 뒷받침한다. 다만 평가는 NLST의 사례 농축 코호ort에서 수행되었으며 실제 유병률이나 외부 검증을 반영하지 않아 직접적인 임상 일반화를 제한한다.