PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2508.04899v3cs.LG

자동 신생아 발작 감지의 정직하고 신뢰할 수 있는 평가 및 전문가 동등성 검정

Honest and Reliable Evaluation and Expert Equivalence Testing of Automated Neonatal Seizure Detection

신생아 발작 감지를 위한 머신러닝 모델의 신뢰할 수 있는 평가는 임상 도입을 위해 매우 중요합니다. 현재의 관행은 일관성이 없고 편향된 지표에 의존하는 경우가 많아 모델 간 비교 가능성과 해석 가능성을 저해합니다. AI 성능에 대한 전문가 수준의 주장은 엄격한 검증 없이 제기되는 경우가 빈번하여 신뢰성에 대한 우려를 낳고 있습니다. 본 연구는 일반적인 성능 지표를 체계적으로 평가하고 신생아 발작 감지의 특정 과제에 맞춘 모범 사례를 제안하는 것을 목표로 합니다. 실제 및 합성 발작 주석을 활용하여, 다양한 클래스 불균형, 평가자 간 일치도, 평가자 수 조건에서 표준 성능 지표, 합의 전략, 인간 전문가 수준 동등성 검정을 평가했습니다. 매튜스 상관계수(Matthews correlation coefficient)와 피어슨 상관계수(Pearson's correlation coefficient)는 클래스 불균형 상황에서 성능을 반영하는 데 있어 곡선하면적(AUC)보다 우수한 성능을 보였습니다. 합의 유형은 평가자 수 및 평가자 간 일치도 수준에 민감합니다. 인간 전문가 수준 동등성 검정 중에서는 플라이스 카파(Fleiss k)를 사용하는 다중 평가자 튜링 테스트(multi-rater Turing test)가 전문가 수준의 AI 성능을 가장 잘 포착했습니다. 저자들은 (1) 최소 하나의 균형 지표, (2) 민감도, 특이도, 양성 예측도(PPV), 음성 예측도(NPV), (3) 플라이스 카파를 사용한 다중 평가자 튜링 테스트 결과, (4) 별도 검증 셋(held-out validation set)에서의 상기 항목 전체를 보고할 것을 권장합니다. 제안된 프레임워크는 신생아 발작 감지를 위한 AI 방법론에 대한 철저하고 정직한 평가를 가능하게 함으로써 임상 검증의 중요한 전제 조건을 제공합니다.