arXiv:2012.03808

Perfect density models cannot guarantee anomaly detection

Charline Le Lan, Laurent Dinh

제출 2020-12-07

원문 초록

Thanks to the tractability of their likelihood, several deep generative models show promise for seemingly straightforward but important applications like anomaly detection, uncertainty estimation, and active learning. However, the likelihood values empirically attributed to anomalies conflict with the expectations these proposed applications suggest. In this paper, we take a closer look at the behavior of distribution densities through the lens of reparametrization and show that these quantities carry less meaningful information than previously thought, beyond estimation issues or the curse of dimensionality. We conclude that the use of these likelihoods for anomaly detection relies on strong and implicit hypotheses, and highlight the necessity of explicitly formulating these assumptions for reliable anomaly detection.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03224v1cs.CV공통 태그 Anomaly Detection, Out-of-Distribution Detection

확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성

Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis

확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.

arXiv:2610.00350v1cs.CV공통 태그 Anomaly Detection, Out-of-Distribution Detection

Vmem-$\varphi$: 막전위 통계 기반 스파이킹 신경망의 저연산 분포 외 탐지

Vmem-$\varphi$: Low-Compute Out-of-Distribution Detection in Spiking Neural Networks from Membrane-Potential Statistics

스파이킹 신경망(SNN, Spiking Neural Networks)은 이벤트 카메라(event-camera) 데이터를 처리하는 데 에너지 효율적인 접근법을 제공하지만, 이러한 환경에서 분포 외(out-of-distribution, OOD) 탐지는 여전히 어려운 과제로 남아 있다. 기존 OOD 탐지 방법들은 객체 검출 SNN에서는 사용할 수 없는 모델 출력이나 연산 구성 요소에 의존하거나, 저연산 배포 환경에 적합하지 않은 경우가 많다. 이를 해결하기 위해, 우리는 역치 이하(subthreshold) 막전위 \(V_{\mathrm{mem}}(t)\)가 분포 변화(distribution shift)를 탐지하는 데 유용한 내부 신호를 제공함을 보인다. 이러한 막전위 동역학으로부터 도출한 단순한 채널별 통계량을 통해 OOD 탐지가 가능하다. 이 접근법을 평가하기 위해, 우리는 Prophesee Gen1 자동차 검출 데이터셋을 기반으로 개발한 이벤트 카메라 손상(corruption) 벤치마크인 Gen1-C를 소개하며, 이는 센서 특성에 기반한 6가지 히스토그램 수준의 스트레스 테스트를 5단계의 심각도로 포함한다. 우리는 또한 막전위 통계량에 기반해 동작하는 손상에 무관한(corruption-blind) 방법인 다중 서술자 편차(Multi-Descriptor Deviation, MDD)를 제안한다. 가장 높은 손상 심각도에서, MDD는 단 64프레임의 제한된 관찰 윈도우만을 사용하여 6가지 손상 유형 중 5가지에서 0.88 이상의 AUROC를 달성한다. 특히, 나머지 하나의 손상 유형은 기본 검출기(underlying detector)에 가장 적은 영향을 미치는 손상이기도 하다. 이러한 결과는 시간적 막전위 동역학이 SNN 기반 이벤트 인식에서 OOD 탐지를 위한 효과적이고 저비용의 신호를 제공할 수 있음을 보여준다.

arXiv:2607.10506v1cs.LG공통 태그 Anomaly Detection, Out-of-Distribution Detection

노이즈로부터 학습: 제한 볼츠만 머신에서의 유효 랭크 붕괴와 분포 외 입력 거부

Learning from Noise: Effective-Rank Collapse and Out-of-Distribution Rejection in Restricted Boltzmann Machines

제한 볼츠만 머신(RBM)은 가시 및 은닉 구성에 대한 에너지 경관을 형성하여 데이터를 표현하지만, 분포 외(OOD) 입력에 대한 판별적 사용은 취약하다: 학습 분포 밖의 샘플이 거부되지 않고 학습된 클래스 분지 중 하나로 흡수될 수 있다. 본 연구에서는 가시-은닉 가중치 행렬 $W$로부터 유도되는 가시-가시 상호작용 $J=WW^{T}$의 스펙트럼을 통해 이 실패 양상을 분석한다. 마르첸코-파스투르(Marchenko-Pastur) 랜덤 행렬 기준과 비교할 때, 일반적인 학습은 스펙트럼 가중치를 약하고 벌크 호환적인 다수의 방향으로 분산시켜 $J$의 유효 랭크를 증가시킨다. 학습 중 보조 랜덤 이진 이미지를 거부 레이블에 할당하면, 학습된 상호작용은 유효 랭크 붕괴를 겪는다: 약한 벌크 유사 모드가 감소하고 스펙트럼 가중치가 더 적은 수의 지배적 고유 방향으로 집중되며, $J$의 유효 랭크가 경험적 데이터 공분산 행렬의 유효 랭크에 근접한다. 결과적으로 구성된 RBM은 MNIST 분류 정확도를 유지하면서 구조화된 OOD 이미지 데이터셋을 거부하며, 이는 랜덤 보조 노출이 에너지 기반 분류기의 상호작용 스펙트럼과 자유 에너지 경관 모두를 재형성할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.