A Comparative Study of Confidence Calibration in Deep Learning: From Computer Vision to Medical Imaging
원문 초록
Although deep learning prediction models have been successful in the discrimination of different classes, they can often suffer from poor calibration across challenging domains including healthcare. Moreover, the long-tail distribution poses great challenges in deep learning classification problems including clinical disease prediction. There are approaches proposed recently to calibrate deep prediction in computer vision, but there are no studies found to demonstrate how the representative models work in different challenging contexts. In this paper, we bridge the confidence calibration from computer vision to medical imaging with a comparative study of four high-impact calibration models. Our studies are conducted in different contexts (natural image classification and lung cancer risk estimation) including in balanced vs. imbalanced training sets and in computer vision vs. medical imaging. Our results support key findings: (1) We achieve new conclusions which are not studied under different learning contexts, e.g., combining two calibration models that both mitigate the overconfident prediction can lead to under-confident prediction, and simpler calibration models from the computer vision domain tend to be more generalizable to medical imaging. (2) We highlight the gap between general computer vision tasks and medical imaging prediction, e.g., calibration methods ideal for general computer vision tasks may in fact damage the calibration of medical imaging prediction. (3) We also reinforce previous conclusions in natural image classification settings. We believe that this study has merits to guide readers to choose calibration models and understand gaps between general computer vision and medical imaging domains.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.
EEG 신호와 CNN을 이용한 rTMS 우울증 치료 결과 예측
Predicting the Outcome of rTMS Depression Therapy using EEG Signals and CNN
반복 경두개 자기 자극(repetitive transcranial magnetic stimulation, rTMS)은 주요 우울 장애(Major Depressive Disorder, MDD)에 대한 비침습적 치료법이다. 본 연구에서는 EEG 신호를 표현하기 위해 두 가지 시간-주파수 방법을 사용하여 이미지를 생성한다: 유클리드 거리를 포함한 푸리에-베셀 급수 전개(Fourier-Bessel Series Expansion with Euclidean Distance, FBSE-ED)와 이산 웨이블릿 변환(Discrete Wavelet Transform, DWT). 우리는 rTMS 우울증 치료 결과를 예측하는 효율적인 심층 학습 분류기를 제안한다. 본 연구에서는 결과의 바이어스를 피하기 위해 10-fold 교차 검증 전략을 사용하여 사설 rTMS 데이터베이스로 경량 맞춤형 합성곱 신경망(Convolutional Neural Network, CNN)을 학습한다. 결과는 FBSE-ED 표현이 93.60%의 최고 분류 정확도를 달성하여 전통적인 시간-주파수 기법(DWT)을 능가함을 보여준다. 또한 FBSE-ED 이미지 표현 기법을 적용한 제안 아키텍처는 더 복잡한 EEG 특화 심층 학습 모델(EEGNet, DeepConvNet, SleepEEGNet)보다 3.62-10.72%, 사전학습 모델(Xception, DenseNet201, MobileNetV2)보다 23.03-27.35% 더 우수한 성능을 보인다. 추가 실험을 위해 또 다른 사설 rTMS 데이터베이스를 테스트 데이터베이스로 활용하여 제안 모델의 견고성을 입증한다. 우리 결과는 고급 신호 분해와 심층 학습의 통합이 rTMS 치료 반응의 조기 예측을 촉진하고 보다 표적화된 임상 의사결정을 지원할 수 있음을 시사한다. 제안 프레임워크는 해석 가능하고 계산 효율적이며, 실제 지역 정신과 클리닉 배포에 적합하다.
Evaluating the Performance of TAAF for image classification models
FewVS: A Vision-Semantics Integration Framework for Few-Shot Image Classification
Attention Feature Fusion Network via Knowledge Propagation for Automated Respiratory Sound Classification
Evolving Efficient CNN Based Model for Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.