arXiv:2204.09183

Robustness Testing of Data and Knowledge Driven Anomaly Detection in Cyber-Physical Systems

Xugui Zhou, Maxfield Kouzel, Homa Alemzadeh

제출 2022-04-20

원문 초록

The growing complexity of Cyber-Physical Systems (CPS) and challenges in ensuring safety and security have led to the increasing use of deep learning methods for accurate and scalable anomaly detection. However, machine learning (ML) models often suffer from low performance in predicting unexpected data and are vulnerable to accidental or malicious perturbations. Although robustness testing of deep learning models has been extensively explored in applications such as image classification and speech recognition, less attention has been paid to ML-driven safety monitoring in CPS. This paper presents the preliminary results on evaluating the robustness of ML-based anomaly detection methods in safety-critical CPS against two types of accidental and malicious input perturbations, generated using a Gaussian-based noise model and the Fast Gradient Sign Method (FGSM). We test the hypothesis of whether integrating the domain knowledge (e.g., on unsafe system behavior) with the ML models can improve the robustness of anomaly detection without sacrificing accuracy and transparency. Experimental results with two case studies of Artificial Pancreas Systems (APS) for diabetes management show that ML-based safety monitors trained with domain knowledge can reduce on average up to 54.2% of robustness error and keep the average F1 scores high while improving transparency.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13610v1cs.CV공통 태그 Anomaly Detection, Image Classification

CUBE: 오픈셋 곤충 종 인식을 위한 클래스 조건부 미지 경계 증거

CUBE: Class-conditioned Unknown Boundary Evidence for Open-Set Insect Species Recognition

오픈셋(open-set) 곤충 종 인식은 실제 생물다양성 시나리오에 적용될 때, 특히 학습(training)에 사용된 기지(known) 클래스와 시각적으로 매우 유사한 미지(unknown) 종을 마주할 경우 심각한 어려움에 직면합니다. 일반적인 분포 외(OOD, out-of-distribution) 샘플과 달리, 세밀한(fine-grained) 미지 곤충은 시각적으로 이상 징후를 보이지 않는 경우가 많습니다. 대신 특정 기지 종의 결정 경계(decision boundary) 근처에 나타나는 경향이 있어 신뢰할 수 없는 닫힌 집합(closed-set) 예측을 초래합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 미지성을 단일 글로벌 미지 클래스로 다루는 대신 각 기지 종 주변에서 모델링하는 새로운 증거 기반 프레임워크인 Class-conditioned Unknown Boundary Evidence(CUBE)를 제안합니다. 우리의 핵심 아이디어는 테스트 샘플을 가장 유사한 기지 종과 비교하여 평가함으로써, 시각적으로 혼동하기 쉬운 미지 곤충에 대한 국소적 거부(local rejection)를 가능하게 하는 것입니다. CUBE는 보조 종(auxiliary species)으로부터 클래스 조건부 경계 증거를 학습하고, 추론(inference) 중에는 보조 종을 섀도우 레퍼런스(shadow reference)로 보존하며, 생물학적 타당성을 검증하기 위해 분류학적 후보 보정(taxonomic candidate calibration)을 통합합니다. 생태학적 메타데이터를 사용할 수 있는 경우, 시각 백본을 수정하지 않고 경량의 위치 일관성(location-consistency) 항을 추가하는 CUBE-E를 추가로 도입합니다. Open-Insect C-America 벤치마크 실험 결과, CUBE는 94.9%의 닫힌 집합 정확도를 유지하면서 국소(local), 비국소(non-local), 비나방(non-moth) 미지 분할에서 각각 95.8%, 98.7%, 99.1%의 AUROC로 최첨단(SOTA) 베이스라인을 능가하는 우수한 성능을 달성함을 보여줍니다. 생태학적 메타데이터를 활용한 CUBE-E는 이를 더욱 향상시켜 95.2%의 닫힌 집합 정확도와 함께 96.0%, 99.7%, 99.5%의 AUROC를 기록합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.