arXiv:2401.08777

Robust Anomaly Detection for Particle Physics Using Multi-Background Representation Learning

Abhijith Gandrakota, Lily Zhang, Aahlad Puli, Kyle Cranmer, Jennifer Ngadiuba, Rajesh Ranganath, Nhan Tran

제출 2024-01-16

원문 초록

Anomaly, or out-of-distribution, detection is a promising tool for aiding discoveries of new particles or processes in particle physics. In this work, we identify and address two overlooked opportunities to improve anomaly detection for high-energy physics. First, rather than train a generative model on the single most dominant background process, we build detection algorithms using representation learning from multiple background types, thus taking advantage of more information to improve estimation of what is relevant for detection. Second, we generalize decorrelation to the multi-background setting, thus directly enforcing a more complete definition of robustness for anomaly detection. We demonstrate the benefit of the proposed robust multi-background anomaly detection algorithms on a high-dimensional dataset of particle decays at the Large Hadron Collider.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13437v1cs.AI공통 태그 Representation Learning, Anomaly Detection

HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단

Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC

표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.

arXiv:2610.02661v1cs.LG공통 태그 Representation Learning, Anomaly Detection

AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템

AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams

사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.

arXiv:2610.03224v1cs.CV공통 태그 Anomaly Detection, Out-of-Distribution Detection

확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성

Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis

확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.

arXiv:2610.00350v1cs.CV공통 태그 Anomaly Detection, Out-of-Distribution Detection

Vmem-$\varphi$: 막전위 통계 기반 스파이킹 신경망의 저연산 분포 외 탐지

Vmem-$\varphi$: Low-Compute Out-of-Distribution Detection in Spiking Neural Networks from Membrane-Potential Statistics

스파이킹 신경망(SNN, Spiking Neural Networks)은 이벤트 카메라(event-camera) 데이터를 처리하는 데 에너지 효율적인 접근법을 제공하지만, 이러한 환경에서 분포 외(out-of-distribution, OOD) 탐지는 여전히 어려운 과제로 남아 있다. 기존 OOD 탐지 방법들은 객체 검출 SNN에서는 사용할 수 없는 모델 출력이나 연산 구성 요소에 의존하거나, 저연산 배포 환경에 적합하지 않은 경우가 많다. 이를 해결하기 위해, 우리는 역치 이하(subthreshold) 막전위 \(V_{\mathrm{mem}}(t)\)가 분포 변화(distribution shift)를 탐지하는 데 유용한 내부 신호를 제공함을 보인다. 이러한 막전위 동역학으로부터 도출한 단순한 채널별 통계량을 통해 OOD 탐지가 가능하다. 이 접근법을 평가하기 위해, 우리는 Prophesee Gen1 자동차 검출 데이터셋을 기반으로 개발한 이벤트 카메라 손상(corruption) 벤치마크인 Gen1-C를 소개하며, 이는 센서 특성에 기반한 6가지 히스토그램 수준의 스트레스 테스트를 5단계의 심각도로 포함한다. 우리는 또한 막전위 통계량에 기반해 동작하는 손상에 무관한(corruption-blind) 방법인 다중 서술자 편차(Multi-Descriptor Deviation, MDD)를 제안한다. 가장 높은 손상 심각도에서, MDD는 단 64프레임의 제한된 관찰 윈도우만을 사용하여 6가지 손상 유형 중 5가지에서 0.88 이상의 AUROC를 달성한다. 특히, 나머지 하나의 손상 유형은 기본 검출기(underlying detector)에 가장 적은 영향을 미치는 손상이기도 하다. 이러한 결과는 시간적 막전위 동역학이 SNN 기반 이벤트 인식에서 OOD 탐지를 위한 효과적이고 저비용의 신호를 제공할 수 있음을 보여준다.

arXiv:2609.27764v1cs.LG공통 태그 Representation Learning, Anomaly Detection

기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계

Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes

우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.

arXiv:2609.27865v1cs.LG공통 태그 Representation Learning, Anomaly Detection

무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지

What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis

깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.