arXiv:2408.04442

FedAD-Bench: A Unified Benchmark for Federated Unsupervised Anomaly Detection in Tabular Data

Ahmed Anwar, Brian Moser, Dayananda Herurkar, Federico Raue, Vinit Hegiste, Tatjana Legler, Andreas Dengel

제출 2024-08-08

원문 초록

The emergence of federated learning (FL) presents a promising approach to leverage decentralized data while preserving privacy. Furthermore, the combination of FL and anomaly detection is particularly compelling because it allows for detecting rare and critical anomalies (usually also rare in locally gathered data) in sensitive data from multiple sources, such as cybersecurity and healthcare. However, benchmarking the performance of anomaly detection methods in FL environments remains an underexplored area. This paper introduces FedAD-Bench, a unified benchmark for evaluating unsupervised anomaly detection algorithms within the context of FL. We systematically analyze and compare the performance of recent deep learning anomaly detection models under federated settings, which were typically assessed solely in centralized settings. FedAD-Bench encompasses diverse datasets and metrics to provide a holistic evaluation. Through extensive experiments, we identify key challenges such as model aggregation inefficiencies and metric unreliability. We present insights into FL's regularization effects, revealing scenarios in which it outperforms centralized approaches due to its inherent ability to mitigate overfitting. Our work aims to establish a standardized benchmark to guide future research and development in federated anomaly detection, promoting reproducibility and fair comparison across studies.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15818v1cs.LG공통 태그 Anomaly Detection, Benchmarking

실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹

Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry

현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.

arXiv:2610.10613v1cs.LG공통 태그 Anomaly Detection, Federated Learning

이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더

Temporal transformer CAN encoder with federated lightweight heads for anomaly detection

현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.

arXiv:2610.02608v1cs.AI공통 태그 Anomaly Detection, Benchmarking

시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다

Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing

시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.

arXiv:2610.02136v1cs.CV공통 태그 Anomaly Detection, Benchmarking

MIRTO: 뇌 MRI 비지도 이상 분할을 위한 정합 제어 및 다중우주 검증 기반 평가 프로토콜

MIRTO: a registration-gated, multiverse-tested evaluation protocol for unsupervised anomaly segmentation in brain MRI

뇌 MRI를 위한 비지도 이상 탐지(UAD) 방법들은 단일 점수로 순위가 매겨지지만, 이 점수는 거의 보고되지 않는 선택 사항들에 의존합니다. 즉, 각 이상 맵이 참조 데이터와 어떻게 정렬되는지, 임계값이 어떤 데이터에서 어떻게 설정되는지, 어떤 위양성 예산, 지표, 집계 방식 및 병변 정의가 사용되는지 등입니다. 본 논문에서는 이러한 선택 사항들을 명시하고 그 영향을 측정하는 평가 프로토콜인 MIRTO를 제시합니다. MIRTO는 정합(registration) 확인 및 알려진 검정력을 가진 무라벨 진단으로 모든 비교의 기하학적 구조를 제어하고, 검증(validation) 데이터에서만 임계값을 설정하며 테스트에서 실제로 실현된 위양성 체적을 보고하고, 15,552개의 타당한 평가 파이프라인 전반에 걸쳐 각 비교를 반복하며, 다중성 제어가 적용된 대응 피험자 부트스트랩 신뢰구간을 첨부합니다. 동일한 정상 데이터로 학습(training)되고 312명의 BraTS 2020 피험자를 대상으로 테스트된 4가지 UAD 방법에 적용한 결과, MIRTO는 저장된 맵과 참조 데이터 간의 축 순서 불일치로 인해 확산 모델(diffusion model)의 복셀 AUROC가 0.873에서 0.583으로 떨어진 반면 슬라이스 수준 AUROC는 거의 변하지 않았음을 보여주었습니다. 각 지표 내에서 모델 방식은 복셀 AUROC 및 AUPRC 분산의 최소 0.95, Dice의 0.77을 설명했으나, 병변 정의와 적중 기준이 지배적이었던 병변 민감도에서는 0.14만을 설명했습니다. 검증 임계값에서 유의미했던 Dice 우위는 실현된 위양성 부담이 동일할 때 사라졌으며, 엄밀한 항등 분석을 통해 이를 임계값 전이(threshold transfer)의 영향으로 귀속시켰습니다. REFLECT의 잠재 집계 방식을 학습 없이 변경함으로써 동일 부담에서 Dice를 0.052 향상했습니다. 9개의 가설이 명시적 기준에 따라 검정되었으며, 프로토콜 개발에 동일한 코호트가 사용되었으므로 모든 추론(inference)은 탐색적입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.