arXiv:2110.06948

Challenges for Unsupervised Anomaly Detection in Particle Physics

Katherine Fraser, Samuel Homiller, Rashmish K. Mishra, Bryan Ostdiek, Matthew D. Schwartz

제출 2021-10-13

원문 초록

Anomaly detection relies on designing a score to determine whether a particular event is uncharacteristic of a given background distribution. One way to define a score is to use autoencoders, which rely on the ability to reconstruct certain types of data (background) but not others (signals). In this paper, we study some challenges associated with variational autoencoders, such as the dependence on hyperparameters and the metric used, in the context of anomalous signal (top and $W$) jets in a QCD background. We find that the hyperparameter choices strongly affect the network performance and that the optimal parameters for one signal are non-optimal for another. In exploring the networks, we uncover a connection between the latent space of a variational autoencoder trained using mean-squared-error and the optimal transport distances within the dataset. We then show that optimal transport distances to representative events in the background dataset can be used directly for anomaly detection, with performance comparable to the autoencoders. Whether using autoencoders or optimal transport distances for anomaly detection, we find that the choices that best represent the background are not necessarily best for signal identification. These challenges with unsupervised anomaly detection bolster the case for additional exploration of semi-supervised or alternative approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.28970v1cs.LG공통 태그 Anomaly Detection, Unsupervised Anomaly Detection

RGLD: 표 형식 이상 탐지를 위한 무작위화 전역-지역 밀도 추정

RGLD: Randomized Global-Local Density Estimation for Tabular Anomaly Detection

비지도 표 형식 이상 탐지(unsupervised tabular anomaly detection)는 정확하고 이질적인 데이터셋에 걸쳐 강건하며 계산 효율적인 방법을 필요로 한다. 고전적 통계 탐지기는 대체로 효율적이지만, 고정된 데이터 뷰와 단일한 이상 개념에 의존하는 경우가 많다. 딥러닝 기반 이상 탐지기는 더 유연한 스코어링 함수를 학습할 수 있으나, 속도가 현저히 느리고 신뢰할 수 있는 지도 신호가 없는 비지도 환경에서는 튜닝이 어렵다. 우리는 효율적인 비지도 표 형식 이상 탐지를 위한 무작위화 전역-지역 밀도 추정기인 RGLD를 제안한다. RGLD는 넓은 의미의 저밀도 영역에 있는 샘플을 식별하는 전역 랜덤 특징(random-feature) 밀도 브랜치와, 인근 관측치에 의해 약하게 지지되는 샘플을 탐지하는 지역 이웃 브랜치를 결합한다. 두 브랜치 모두 특징 배깅(feature-bagging)된 무작위화 뷰에서 동작하여, RGLD가 단일 표현에서는 숨겨질 수 있는 이상 증거를 포착할 수 있도록 한다. 우리는 완전 비지도 환경에서 47개 데이터셋에 대해 23개의 통계 및 딥러닝 기반 이상 탐지 베이스라인과 비교 실험을 수행하였다. RGLD는 데이터셋 수준 AUROC 성능에서 가장 우수한 결과를 달성하여 데이터셋 승리 수 기준 1위를 기록하였으며, AUPRC 승리 수 기준으로는 2위를 기록하였다. RGLD는 또한 평가된 모든 딥러닝 탐지기보다 빠르며 50배에서 580배의 속도 향상을 달성하고, 실행 시간 면에서 통계적 방법과도 경쟁력을 유지함으로써 정확도-효율성 간 유리한 트레이드오프를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.