커널 고정 지역성 정규화를 통한 고정 타겟 이상 탐지기의 수렴 붕괴 완화
Mitigating Convergence Collapse in Fixed-Target Anomaly Detectors via Kernel-Anchored Locality Regularization
한국어 초록
테이블형(tabular) 이상 탐지기 계열은 제곱 오차 손실(squared-error loss) 하에서 신경망 매핑(neural map)을 고정된 타겟(target)을 향해 학습시키고, 테스트 시점의 잔차(residual)로 이상치를 점수화한다. 수축 매칭(contraction matching), 1단계 교정 흐름(one-step rectified flow), 재구성 오토인코더(reconstruction autoencoder)가 모두 이 틀에 해당한다. 우리는 수렴(convergence) 붕괴 현상을 규명한다: 최적화(optimization)가 향상될수록 탐지기의 성능은 오히려 저하된다. 수렴 시점에는 학습된 매핑이 분포를 벗어난 영역에서도 타겟을 추적하게 되어, 이상치뿐 아니라 정상 데이터에서도 잔차 신호가 사라진다. 따라서 이러한 탐지기들은 신호를 유지하기 위해 암묵적인 비수렴 상태, 즉 조기 종료(early stopping)나 용량 제한(capacity cap)에 의존한다. 우리는 이것이 구조적인 문제라고 주장한다: 효과적인 이상 탐지를 위해서는 제약 없는 외삽(extrapolation)을 막는 지역성(locality) 제약이 필요하다. 고전적인 탐지기(kNN, KDE, isolation forest, LOF)는 지역성을 명시적으로 강제하지만, 고정 타겟 신경망 탐지기는 그렇지 않다. 우리는 고정 타겟 탐지기에 대응하는 커널(kernel) 회귀 모델이 유한 대역폭(finite-bandwidth) Nadaraya-Watson 평활기(smoother)임을 보여줌으로써 이 연관성을 형식화하며, 이를 커널 수축 매칭(Kernel Contraction Matching, KCM)이라 부른다. KCM은 닫힌 형태(closed-form)로 표현되며 학습이 필요 없고 CPU 효율적이지만, ADBench에서 기존의 신경망 베이스라인(baseline)과 동등한 성능을 보인다. 이러한 연결을 바탕으로, 우리는 신경망 예측이 학습(training) 타겟의 커널 가중 평균(kernel-weighted average)에서 벗어나는 정도를 페널티로 부여하는 커널 고정 정규화(Kernel-Anchored Regularizer, KAR)를 제안한다. 붕괴가 발생하기 쉬운 ADBench 데이터셋과 세 가지 백본(backbone)에서, KAR은 붕괴를 완화하고 장기간 학습 시 AUROC를 향상시킨다.
원문 초록
A family of tabular anomaly detectors trains a neural map toward a fixed target under squared-error loss and scores anomalies by the test-time residual; contraction matching, one-step rectified flow, and reconstruction autoencoders all fit this template. We characterize a convergence collapse: better optimization makes the detector worse. At convergence, the learned map tracks the target even off-distribution, so the residual signal vanishes on anomalies as well as on normal data. These detectors therefore rely on implicit non-convergence (early stopping, capacity caps) to retain signal. We argue this is structural: effective anomaly detection requires a locality constraint that blocks unconstrained extrapolation. Classical detectors (kNN, KDE, isolation forests, LOF) enforce locality explicitly; fixed-target neural detectors do not. We formalize the connection by showing that the kernel-regression analog of a fixed-target detector is a finite-bandwidth Nadaraya-Watson smoother, which we call Kernel Contraction Matching (KCM). KCM is closed-form, training-free, and CPU-efficient, yet matches established neural baselines on ADBench. Building on this bridge, we introduce the Kernel-Anchored Regularizer (KAR), which penalizes deviation of the neural prediction from a kernel-weighted average of training targets. Across collapse-prone ADBench datasets and three backbones, KAR mitigates collapse and improves AUROC under prolonged training.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
PRISM: Stress-Testing Alignment-Faking Claims
Cost-Aware Hierarchical Multi-Agent Ransomware Detection and Family Attribution
금융 스트레스의 국면별 탐지를 위한 깊이 효율적 양자 위상 데이터 분석
Depth-Efficient Quantum Topological Data Analysis for Regime-Specific Detection of Financial Stress
실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹
Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry
현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.
HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단
Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC
표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at CIKM 2026 (oral). 11 pages