Histogram- and Diffusion-Based Medical Out-of-Distribution Detection
원문 초록
Out-of-distribution (OOD) detection is crucial for the safety and reliability of artificial intelligence algorithms, especially in the medical domain. In the context of the Medical OOD (MOOD) detection challenge 2023, we propose a pipeline that combines a histogram-based method and a diffusion-based method. The histogram-based method is designed to accurately detect homogeneous anomalies in the toy examples of the challenge, such as blobs with constant intensity values. The diffusion-based method is based on one of the latest methods for unsupervised anomaly detection, called DDPM-OOD. We explore this method and propose extensive post-processing steps for pixel-level and sample-level anomaly detection on brain MRI and abdominal CT data provided by the challenge. Our results show that the proposed DDPM method is sensitive to blur and bias field samples, but faces challenges with anatomical deformation, black slice, and swapped patches. These findings suggest that further research is needed to improve the performance of DDPM for OOD detection in medical images.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성
Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis
확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.
Vmem-$\varphi$: 막전위 통계 기반 스파이킹 신경망의 저연산 분포 외 탐지
Vmem-$\varphi$: Low-Compute Out-of-Distribution Detection in Spiking Neural Networks from Membrane-Potential Statistics
스파이킹 신경망(SNN, Spiking Neural Networks)은 이벤트 카메라(event-camera) 데이터를 처리하는 데 에너지 효율적인 접근법을 제공하지만, 이러한 환경에서 분포 외(out-of-distribution, OOD) 탐지는 여전히 어려운 과제로 남아 있다. 기존 OOD 탐지 방법들은 객체 검출 SNN에서는 사용할 수 없는 모델 출력이나 연산 구성 요소에 의존하거나, 저연산 배포 환경에 적합하지 않은 경우가 많다. 이를 해결하기 위해, 우리는 역치 이하(subthreshold) 막전위 \(V_{\mathrm{mem}}(t)\)가 분포 변화(distribution shift)를 탐지하는 데 유용한 내부 신호를 제공함을 보인다. 이러한 막전위 동역학으로부터 도출한 단순한 채널별 통계량을 통해 OOD 탐지가 가능하다. 이 접근법을 평가하기 위해, 우리는 Prophesee Gen1 자동차 검출 데이터셋을 기반으로 개발한 이벤트 카메라 손상(corruption) 벤치마크인 Gen1-C를 소개하며, 이는 센서 특성에 기반한 6가지 히스토그램 수준의 스트레스 테스트를 5단계의 심각도로 포함한다. 우리는 또한 막전위 통계량에 기반해 동작하는 손상에 무관한(corruption-blind) 방법인 다중 서술자 편차(Multi-Descriptor Deviation, MDD)를 제안한다. 가장 높은 손상 심각도에서, MDD는 단 64프레임의 제한된 관찰 윈도우만을 사용하여 6가지 손상 유형 중 5가지에서 0.88 이상의 AUROC를 달성한다. 특히, 나머지 하나의 손상 유형은 기본 검출기(underlying detector)에 가장 적은 영향을 미치는 손상이기도 하다. 이러한 결과는 시간적 막전위 동역학이 SNN 기반 이벤트 인식에서 OOD 탐지를 위한 효과적이고 저비용의 신호를 제공할 수 있음을 보여준다.
노이즈로부터 학습: 제한 볼츠만 머신에서의 유효 랭크 붕괴와 분포 외 입력 거부
Learning from Noise: Effective-Rank Collapse and Out-of-Distribution Rejection in Restricted Boltzmann Machines
제한 볼츠만 머신(RBM)은 가시 및 은닉 구성에 대한 에너지 경관을 형성하여 데이터를 표현하지만, 분포 외(OOD) 입력에 대한 판별적 사용은 취약하다: 학습 분포 밖의 샘플이 거부되지 않고 학습된 클래스 분지 중 하나로 흡수될 수 있다. 본 연구에서는 가시-은닉 가중치 행렬 $W$로부터 유도되는 가시-가시 상호작용 $J=WW^{T}$의 스펙트럼을 통해 이 실패 양상을 분석한다. 마르첸코-파스투르(Marchenko-Pastur) 랜덤 행렬 기준과 비교할 때, 일반적인 학습은 스펙트럼 가중치를 약하고 벌크 호환적인 다수의 방향으로 분산시켜 $J$의 유효 랭크를 증가시킨다. 학습 중 보조 랜덤 이진 이미지를 거부 레이블에 할당하면, 학습된 상호작용은 유효 랭크 붕괴를 겪는다: 약한 벌크 유사 모드가 감소하고 스펙트럼 가중치가 더 적은 수의 지배적 고유 방향으로 집중되며, $J$의 유효 랭크가 경험적 데이터 공분산 행렬의 유효 랭크에 근접한다. 결과적으로 구성된 RBM은 MNIST 분류 정확도를 유지하면서 구조화된 OOD 이미지 데이터셋을 거부하며, 이는 랜덤 보조 노출이 에너지 기반 분류기의 상호작용 스펙트럼과 자유 에너지 경관 모두를 재형성할 수 있음을 보여준다.
Fast and Accurate Anomaly Detection in Time Series
RGLD: 표 형식 이상 탐지를 위한 무작위화 전역-지역 밀도 추정
RGLD: Randomized Global-Local Density Estimation for Tabular Anomaly Detection
비지도 표 형식 이상 탐지(unsupervised tabular anomaly detection)는 정확하고 이질적인 데이터셋에 걸쳐 강건하며 계산 효율적인 방법을 필요로 한다. 고전적 통계 탐지기는 대체로 효율적이지만, 고정된 데이터 뷰와 단일한 이상 개념에 의존하는 경우가 많다. 딥러닝 기반 이상 탐지기는 더 유연한 스코어링 함수를 학습할 수 있으나, 속도가 현저히 느리고 신뢰할 수 있는 지도 신호가 없는 비지도 환경에서는 튜닝이 어렵다. 우리는 효율적인 비지도 표 형식 이상 탐지를 위한 무작위화 전역-지역 밀도 추정기인 RGLD를 제안한다. RGLD는 넓은 의미의 저밀도 영역에 있는 샘플을 식별하는 전역 랜덤 특징(random-feature) 밀도 브랜치와, 인근 관측치에 의해 약하게 지지되는 샘플을 탐지하는 지역 이웃 브랜치를 결합한다. 두 브랜치 모두 특징 배깅(feature-bagging)된 무작위화 뷰에서 동작하여, RGLD가 단일 표현에서는 숨겨질 수 있는 이상 증거를 포착할 수 있도록 한다. 우리는 완전 비지도 환경에서 47개 데이터셋에 대해 23개의 통계 및 딥러닝 기반 이상 탐지 베이스라인과 비교 실험을 수행하였다. RGLD는 데이터셋 수준 AUROC 성능에서 가장 우수한 결과를 달성하여 데이터셋 승리 수 기준 1위를 기록하였으며, AUPRC 승리 수 기준으로는 2위를 기록하였다. RGLD는 또한 평가된 모든 딥러닝 탐지기보다 빠르며 50배에서 580배의 속도 향상을 달성하고, 실행 시간 면에서 통계적 방법과도 경쟁력을 유지함으로써 정확도-효율성 간 유리한 트레이드오프를 제공한다.
효율적인 분포 외 탐지를 위한 지역적 평탄성 활용
Exploiting Local Flatness for Efficient Out-of-Distribution Detection
분포 외(OOD) 데이터 탐지는 신뢰할 수 있는 머신러닝 배포에 필수적이다. 탐지 전략 중 사후(post-hoc) 방법은 사전학습된 네트워크에 재학습 없이 직접 적용할 수 있어 효율성 측면에서 특히 매력적이다. 이 패러다임 안에서, 손실 경관의 곡률을 활용해 모델 불확실성을 추정하는 방향이 유망하게 제시되어 왔으나, 이러한 방법들은 상당한 계산 비용을 수반하고 경관 평탄성이 분포 내(ID)와 OOD 데이터 간에 어떻게 다른지에 대한 암묵적 가정에 의존한다. 본 연구에서는 이 곡률 불일치에 대한 최초의 체계적 분석을 제공하며, OOD 입력이 ID 데이터보다 더 큰 헤시안 곡률을 나타내고 분포 이동이 강해질수록 그 격차가 커짐을 보인다. 이러한 관찰에 착안하여, 우리는 Fold를 제안한다. Fold는 특징 헤시안과 부분 특징 정규화를 활용하여 ID-OOD 분리 가능성을 개선하면서도 비용이 많이 드는 매개변수 공간의 곡률 근사를 피하는 경량 평탄성 기반 OOD 탐지기이다. 다양한 데이터셋에 걸쳐 이 정규화를 최적으로 적응시키기 위해, 우리는 추가로 AutoFold를 도입한다. AutoFold는 외부 데이터 없이 자동 보정을 위해 ID 로짓 마스킹을 통해 의사(pseudo)-OOD 샘플을 합성하는 자기지도 튜닝 기법이다. OOD 벤치마크 실험에서 Fold는 기존 방법들을 능가하여 평균 AUROC를 1.63% 향상시키고 FPR95를 2.30% 감소시키면서, 표준 순전파에 준하는 계산 효율성을 유지한다. 이론적 분석과 광범위한 ablation 연구를 바탕으로, Fold는 강건한 실세계 배포를 위한 원칙적이고 실용적인 해법을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.