arXiv:2410.09284

Enhanced Federated Anomaly Detection Through Autoencoders Using Summary Statistics-Based Thresholding

Sofiane Laridi, Gregory Palmer, Kam-Ming Mark Tam

제출 2024-10-11

원문 초록

In Federated Learning (FL), anomaly detection (AD) is a challenging task due to the decentralized nature of data and the presence of non-IID data distributions. This study introduces a novel federated threshold calculation method that leverages summary statistics from both normal and anomalous data to improve the accuracy and robustness of anomaly detection using autoencoders (AE) in a federated setting. Our approach aggregates local summary statistics across clients to compute a global threshold that optimally separates anomalies from normal data while ensuring privacy preservation. We conducted extensive experiments using publicly available datasets, including Credit Card Fraud Detection, Shuttle, and Covertype, under various data distribution scenarios. The results demonstrate that our method consistently outperforms existing federated and local threshold calculation techniques, particularly in handling non-IID data distributions. This study also explores the impact of different data distribution scenarios and the number of clients on the performance of federated anomaly detection. Our findings highlight the potential of using summary statistics for threshold calculation in improving the scalability and accuracy of federated anomaly detection systems.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09259v1cs.CR공통 태그 Anomaly Detection, Fraud Detection, Federated Learning

통신/IoT 사기 제어 요청을 위한 블록체인 연동 감사 가능 의사결정 관리

Blockchain-Linked Auditable Decision Management for Telecom/IoT Fraud-Control Requests

통신 사기 제어 연구는 탐지기 수준의 분류(classification)에서 멈추는 경우가 많지만, 실제 배포 환경에서는 요청 수준의 정책 결정, 생애주기 추적성, 감사 가능성이 필요하다. 본 논문은 사기 제어 문제를 합성 통신/IoT 사기 제어 요청에 대한 블록체인 연동 감사 가능 의사결정 관리로 재정의하며, 주요 결과는 QLoRA 튜닝된 대규모 언어 모델(LLM) 브랜치가 제로샷(zero-shot) 프롬프팅보다 훨씬 실용적이지만, 저비용 중앙 집중식 앙상블(ensemble)을 능가하기보다는 주로 근접하는 수준에 그친다는 것이다. 이 프레임워크는 각 합성 배포 레코드를 관리 요청으로 매핑하고, 결정론적 하드-사기 게이트를 통해 명시적 경계 초과 사례를 차단하며, 비하드 요청을 중앙 집중식 ML(M1), 연합 메타학습(M2), 또는 LLM 계열 위험 소스(M3)를 사용하여 점수화하고, 공유된 5-상태 정책, 2-구역 정제 메커니즘, 로컬 이더리움 호환 감사 레이어(layer)를 통해 조치를 결정한다. 평가는 별도의 합성 학습(training) 데이터와 100,000건의 레코드로 구성된 배포 재현 코퍼스를 사용하므로, 본 연구는 현장 검증이나 실제 배포 가능성의 증명이 아닌 통제된 드리프트 재현 증거로 해석해야 한다. 검증(validation) 결과, M1이 가장 균형 잡힌 성능을 보이며, 0.10 운영 상한 하에서 정상 요청 FPR 0.0890, 소프트-사기 재현율(recall) 0.8341을 달성한다. 그러나 레이블된 배포 재현에서는 정상-FPR 격차가 크게 벌어져, M1은 0.1646, M3-QLoRA는 0.1801로 상승하며, M3-QLoRA는 M3-Base의 정상 FPR을 0.3915에서 낮추고 소프트-사기 재현율 0.8240에 도달한다. 블록체인 텔레메트리는 생애주기 가스, 비용, 지연 시간, 처리량의 차이가 사기 로직의 변화가 아닌 제출된 오프체인 의사결정 프로파일에 의해 결정됨을 보여준다.

arXiv:2610.10613v1cs.LG공통 태그 Anomaly Detection, Federated Learning

이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더

Temporal transformer CAN encoder with federated lightweight heads for anomaly detection

현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.

arXiv:2610.10957v1cs.LG공통 태그 Anomaly Detection, Fraud Detection

TRACE: 프로덕션 AI 시스템의 설명가능성 부채 측정을 위한 거버넌스 프레임워크

TRACE: A Governance Framework for Measuring Explainability Debt in Production AI Systems

중대한 영향을 미치는 고위험(high-stakes) 영역에 배포된 프로덕션 AI 시스템에는 기존 모니터링 프레임워크로는 감지하지 못하는 거버넌스 부채가 축적됩니다. 바로 규제 기관, 감사인 또는 영향을 받는 개인이 책무성을 요구할 때 개별 결정을 설명하지 못하는 능력이 점진적으로 심화되는 현상입니다. 본 논문에서는 프로덕션 AI 시스템에서 설명가능성 부채(Explainability Debt)를 측정, 추적 및 개선하기 위한 7가지 도구 기반의 거버넌스 프레임워크인 TRACE(Transparency, Risk, Accountability, Compliance, and Explainability)를 소개합니다. 핵심 도구인 설명가능성 부채 점수(EDS, Explainability Debt Score)는 임의의 시점에서 거버넌스에서 정의한 설명가능성 신뢰도 임계값에 미치지 못하는 프로덕션 결정의 비율을 정량화합니다. 보완 도구로는 DART(위반 예측을 위한 부채 축적률 추적기), SHIV(일일 거버넌스를 위한 시나리오 건전성 및 무결성 검증기), FDE(인과 관계 귀속을 위한 특징 드리프트 평가기), HVE(인간 검증 엔진), AIDE(감사 개입 결정 엔진), ZERO(개선을 위한 무결점 설명가능성 위험 최적화기)가 포함됩니다. 매일 50,000건의 금융 거래를 처리하며 98.46%의 정확도와 0.9990의 ROC-AUC를 달성한 프로덕션 이상거래 탐지(fraud detection) 시스템에 대한 12개월간의 종단적 사례 연구를 통해, 감사 당일 0.23의 EDS를 DART 궤적 분석을 통해 6개월 전에 통계적으로 예측할 수 있었음을 입증했습니다(beta = 0.008/주, R-squared = 0.94, 95% CI: [0.006, 0.010]). 또한 설명가능성 부채의 78%가 가장 규제 위험이 높은 결정 범주(10,000달러 초과 거래)에 집중되어 있었으며, 이는 시스템 수준의 지표로는 전혀 감지할 수 없는 위험 비대칭성이었습니다. TRACE는 프로덕션 AI 배포 환경에서 EU AI 법(EU AI Act) 제13조 준수를 위한 최초의 정량적 운영 아키텍처를 제공하며, 설명 생성(explanation generation)과는 구별되는 설명 거버넌스(explanation governance)라는 새로운 하위 분야를 정립합니다.

arXiv:2608.24631v2quant-ph공통 태그 Anomaly Detection, Fraud Detection

유사도가 상호작용에 의해 결정될 때: 체제 민감 학습을 위한 양자 커널

When Similarity Is Interaction-Driven: Quantum Kernels for Regime-Sensitive Learning

많은 의사결정 시스템에서 유사도는 거리만으로 결정되는 것이 아니라 변수들 간의 상호작용에 의해 좌우된다. 사기 탐지 및 이상 탐지(anomaly detection)에서는, 국소적인 작은 교란(perturbation)이 주변 거리는 거의 변화시키지 않으면서도 상호작용에 민감한 결정 경계(decision boundary)를 넘어설 수 있다. 이러한 상황에 착안하여, 우리는 박층(thin-slab) 상호작용 모델과, 얽힌(entangled) 파울리 문자열(Pauli-string) 특징 맵으로 구성된 상호작용 기반 양자 커널(quantum kernel)을 제안한다. 이 특징 맵은 희소한 고차 블록 상호작용(sparse high-order block interactions)을 명시적으로 인코딩한다. 우리는 그 결과로 얻어지는 충실도 커널(fidelity kernel)이 양의 준정부호(positive semidefinite)이며, 정확한 블록 분해(block-factorized) 형태로 표현 가능하고, 상호작용 체제(interaction regime)의 변화에 민감한 기하 구조를 유도함을 보인다. 3차, 4차, 6차, 8차 상호작용을 포괄하는 균형 및 불균형 합성 실험 전반에서, 제안된 커널은 선형 커널, 방사 기저 함수(RBF) 커널, 라플라시안(Laplacian) 커널, 다항(polynomial) 커널은 물론, 심어진(planted) 블록 곱을 제공받은 조작된 상호작용 선형 기준선(baseline)보다도 일관되게 더 우수한 성능을 보인다. 실제 사기 탐지 벤치마크에서는, Credit Card Fraud Detection 데이터셋에서 가장 높은 평균 정확도와 F1 점수를 달성하며, IEEE-CIS Fraud Detection에서는 2위를 기록한다. 156큐비트(qubit) IBM Quantum 프로세서에서 4차 설정으로 실행한 결과, 하드웨어로 추정한 커널은 시드 간 변동성(seed-to-seed variability) 범위 내에서 노이즈 없는 시뮬레이터와 일치하며, 기준선들에 대한 우위를 그대로 유지한다. 이러한 결과는 양자 커널의 성능이 힐베르트 공간(Hilbert space)의 차원만이 아니라, 특징 맵의 기하 구조와 기저의 예측 구조 사이의 정합(alignment) 여부에 좌우됨을 보여준다. 제안된 블록 분해 커널은 고전 컴퓨터에서도 정확하게 계산될 수 있으므로, 본 연구의 결과는 계산적인 양자 가속(quantum speedup)이 아니라 예측적 및 표현적 가치를 입증하는 것이다.

arXiv:2609.27202v1cs.CR공통 태그 Anomaly Detection, Federated Learning

IoT 보안을 위한 신뢰할 수 있는 연합 TinyML 배포

Reliable Federated TinyML Deployment for IoT Security

사물인터넷(IoT) 기기의 배포가 증가함에 따라 자원 제약이 있는 하드웨어에서 직접 동작하는 프라이버시 보존형 침입 탐지 시스템의 필요성이 커졌습니다. 연합학습(Federated Learning)은 원시 데이터를 공유하지 않고도 협업적 모델 학습을 가능하게 하지만, 기존의 연합 모델은 마이크로컨트롤러급 기기에 배포하기에는 지나치게 크고 불안정한 경우가 많습니다. TinyML 기술은 소형 신경망을 가능하게 하지만 일반적으로 추론 전용 워크로드를 위해 설계됩니다. 본 연구에서는 IoT 환경의 침입 탐지를 위해 연합학습과 TinyML 기반 모델 압축을 결합하는 방안을 조사합니다. 저자들은 연합 학습 파이프라인 내에서 지식 증류, 구조적 가지치기, 양자화를 포함한 압축 전략을 평가합니다. 초기 결과는 학습 안정성이 연합 TinyML 시스템에서 결정적인 역할을 한다는 점을 보여줍니다. 특히, 서버 조율 코사인 학습률 스케줄링(server-coordinated cosine learning-rate scheduling)은 상당한 모델 압축과 효율적인 엣지 배포를 실현하는 동시에 공격 재현율(Attack Recall)을 46.7%에서 93.85%로 향상시킵니다. 이러한 결과는 IoT 기기를 위한 경량화 및 프라이버시 보존형 침입 탐지 시스템 설계에 유용한 통찰을 제공합니다.

arXiv:2609.27287v1cs.LG공통 태그 Anomaly Detection, Fraud Detection

SR-Fraud: 비정상(non-stationary) 결제 사기 탐지를 위한 결과 지도(outcome-supervised) 반성형 LLM 에이전트 프레임워크

SR-Fraud: An Outcome-Supervised Reflective LLM Agent Framework for Non-Stationary Payment Fraud Detection

실시간 결제 사기 탐지는 비정상(non-stationary) 스트리밍 예측 문제이다. 적대자는 지도 라벨이 성숙하기 전에 적응하고, 국소적 버스트 공격은 재학습 전에 손실을 유발할 수 있다. 프로덕션 시스템은 일반적으로 테이블형 분류기와 규칙에 의존하며, 주기적 재학습이 이루어지기 전에 새로 나타나는 순차 패턴을 포착하는 데 어려움을 겪을 수 있다. 우리는 요청 시점 의사결정과 오프라인 적응을 분리하는 결과 지도(outcome-supervised) 반성형 LLM 프레임워크인 SR-Fraud를 제안한다. 동결(frozen)된 무상태(stateless) 에이전트가 Hybrid Episodic Window로부터 각 거래를 점수화하여 행동 변화를 추적하고, 오프라인 반성 에이전트는 성숙한 오류로부터 경계 가설을 제안한다. 결정론적 검증기는 이어서 지지되는 가설만 실행 가능한 지식 상태에 편입한다. 프로덕션 결제 사기 벤치마크에서 SR-Fraud는 동결된 의사결정 에이전트 대비 모든 탐지 지표를 개선하고, 정적 및 주기적 재학습 CatBoost보다 높은 점 추정치(point estimate)를 얻으며, 새로 나타나는 사기 버스트를 탐지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.