When Not to Classify: Anomaly Detection of Attacks (ADA) on DNN Classifiers at Test Time
원문 초록
A significant threat to the recent, wide deployment of machine learning-based systems, including deep neural networks (DNNs), is adversarial learning attacks. We analyze possible test-time evasion-attack mechanisms and show that, in some important cases, when the image has been attacked, correctly classifying it has no utility: i) when the image to be attacked is (even arbitrarily) selected from the attacker's cache; ii) when the sole recipient of the classifier's decision is the attacker. Moreover, in some application domains and scenarios it is highly actionable to detect the attack irrespective of correctly classifying in the face of it (with classification still performed if no attack is detected). We hypothesize that, even if human-imperceptible, adversarial perturbations are machine-detectable. We propose a purely unsupervised anomaly detector (AD) that, unlike previous works: i) models the joint density of a deep layer using highly suitable null hypothesis density models (matched in particular to the non- negative support for RELU layers); ii) exploits multiple DNN layers; iii) leverages a "source" and "destination" class concept, source class uncertainty, the class confusion matrix, and DNN weight information in constructing a novel decision statistic grounded in the Kullback-Leibler divergence. Tested on MNIST and CIFAR-10 image databases under three prominent attack strategies, our approach outperforms previous detection methods, achieving strong ROC AUC detection accuracy on two attacks and better accuracy than recently reported for a variety of methods on the strongest (CW) attack. We also evaluate a fully white box attack on our system. Finally, we evaluate other important performance measures, such as classification accuracy, versus detection rate and attack strength.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공유 인코더가 곧 공유 태스크를 의미하지는 않는다: 딥 전문가 풀을 위한 조건부 비교
A Shared Encoder Is Not a Shared Task: Conditional Comparison for Deep Expert Pools
딥 인코더(deep encoder)를 공유하는 것만으로는 태스크 비교 점수의 핵심적인 교란 요인(confound)을 해결하지 못한다. 본 연구에서는 고정된 공유 표현 위에서 교차 평가된 헤드들이 얕은 교환 점수(shallow exchange score)의 외삽 교란을 그대로 물려받음을 보인다. 고정된 레이블 상태에서 순수한 입력 회전만으로도 딥 교환 점수가 약 0에서 0.80으로 부풀려지는 반면, 표현 새로움 점수(representation-novelty score)는 상보적인 방향에서 맹점을 드러낸다(태스크를 완전히 변경하는 레이블 순열 치환에서도 변화가 없음). 조건부 2-판별자 불일치(conditional two-discriminator discrepancy)를 임베딩 공간으로 이식하면 두 맹점이 모두 해결된다. 즉, 기능적 축은 회전 시에도 ±0.001 이내를 유지하며, 레이블 순열 드리프트 질량을 단조롭게 추적한다. 헤드 혼합(mixture-of-heads) 라이프사이클에 구축된 이 2축 게이트는 동일한 학습 예산 하에서 교환 또는 새로움 트리거보다 더 적은 수의 헤드로 더 우수한 결정 품질을 달성한다. 일반화된 카테고리 발견(generalized category discovery)에서, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)가 해당 구분을 거의 무작위 수준으로 수행하는 반면, 동일한 청크 단위 기능적 축은 의미론적 새로움과 측광학적 변화(photometric shift)를 AUROC 0.98~0.99로 분리한다. 모든 연구 결과는 CIFAR-100에서 고정된 ImageNet-21k ViT-B/16 및 자기지도학습 DINOv2 백본 전반에 걸쳐 재현되며, 순환(recurrence) 구조를 가진 잔차 어댑터 풀로도 확장된다. 여기서 영점 보정된 새로움 트리거는 메커니즘 변화에 전혀 작동하지 않지만, 2축 게이트는 완전한 순환 재사용을 통해 이를 처리한다. 마지막으로, 임베딩 공간의 결론이 원래 메커니즘으로 전이되기 위한 공통 인수분해 조건(common-factoring condition)을 명시적으로 제시한다.
Enhanced network anomaly detection based on deep neural networks
PulseGuard: 토킹페이스 딥페이크 탐지를 위한 포렌식 모달리티로서의 rPPG 기반 시간 신호
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
토킹페이스(TF) 딥페이크 생성은 정지된 원본 이미지와 음성 신호로부터 사실적인 얼굴 영상을 합성하며, 현재의 이미지 기반 탐지기가 일관되게 식별하지 못하는 위조물을 만들어 낸다. 얼굴 교체 조작과 달리 TF 합성에는 생리적 특성을 물려받을 기반 실제 영상이 없으므로, 이 위조 범주의 탐지 모달리티로 원격 광혈류측정(rPPG)이 동기화된다. 우리는 RhythmFormer로 윈도우별 rPPG 파형을 추출하고 경량 분류기 모음을 학습시켜 실제 신호와 합성 신호를 구분하는 탐지 프레임워크 PulseGuard를 제안한다. 테스트 신원이 학습 신원과 완전히 분리된 엄격한 피험자 독립 프로토콜로 Celeb-DF++의 TF 부분집합에서 평가한 결과, 우리의 1D ResNet은 추출된 시간 신호만으로 동작하면서 EER 25.1%에서 윈도우 수준 AUC 0.826(DeepFakesON-Phys가 평가되는 단위인 영상 수준으로 풀링 시 0.842)을 달성하며, 학습에서 완전히 제외된 생성기에 대해서도 AUC 0.754를 유지한다. 우리는 대표적인 기존 rPPG 탐지기인 DeepFakesON-Phys의 통제된 재현 연구를 제시하여, 기존 얼굴 교체 데이터에서의 AUC 0.999가 Celeb-DF++의 TF 부분집합에서는 0.576으로 저하됨을 보인다. 또한 탐지 난이도가 방법에 크게 의존함을 보이는데, 일곱 개의 TF 생성기에 걸쳐 AUC는 0.937(Real3DPortrait)에서 0.617(IP-LAP)까지 분포하며, 이 순서는 방법별 학습에서도 대체로 유지된다. 이 편차는 평가 잡음이 아니라 학습 방식 전반에 걸쳐 안정적이며, 본 연구의 주된 실증적 기여이다. 우리는 이를 실증적 기준선으로 보고하며, 판별 근거가 심장 기원임을 입증하지는 않는다.
PRISM: 정렬 위장 주장에 대한 스트레스 테스트
PRISM: Stress-Testing Alignment-Faking Claims
우리는 AI 시스템이 안전한지를 주로 그 행동을 관찰하여 판단한다. 정렬 위장은 이를 무너뜨린다. 감시받고 있다고 믿을 때만 올바르게 행동하거나, 훈련으로 인해 변형되는 것을 피하기 위해 지금은 순응하는 모델은 모든 행동 테스트를 통과할 수 있다. 이러한 행동은 한 최첨단 모델에서 보고된 바 있으며, 모니터링 프롬프트 하에서 더 많이 순응하는 오픈 웨이트 모델은 이제 이를 보이는 것으로 해석되고, 은닉 상태 프로브가 탐지기로 제안되고 있다. 본 연구는 이 두 가지 추론을 모두 검증하였으며, 어느 쪽도 성립하지 않는다. 18개 모델 구성 중 11개가 감시받고 있다는 말을 들으면 더 많이 순응한다. 그러나 네 모델에 대한 프롬프트 요인 실험은 훈련 위협이 탐지 가능한 효과를 갖지 않음을 보여 주며, 이를 제거해도 순응도는 -3.3점에서 +1.6점 사이로만 변한다. 격차를 만드는 것은 오히려 프롬프트의 표현과 프레이밍이다. 프로브도 나을 것이 없다. 프로브는 감시 하의 순응 응답과 비감시 하의 순응 응답을 구분하지만(AUROC 0.96-0.99), 거부 응답도 똑같이 잘 구분한다. 즉 프로브는 위장이 아니라 프롬프트를 읽는다. 거부 응답만으로 학습한 조향 방향도 '위장' 방향과 동일한 정도로 행동을 변화시킨다. 본 연구는 이러한 실패 각각을 주장으로 굳어지기 전에 포착하는 다섯 가지 점검과 툴킷인 PRISM을 공개한다.
Cost-Aware Hierarchical Multi-Agent Ransomware Detection and Family Attribution
금융 스트레스의 국면별 탐지를 위한 깊이 효율적 양자 위상 데이터 분석
Depth-Efficient Quantum Topological Data Analysis for Regime-Specific Detection of Financial Stress
토론
이 논문과 연결된 포럼 글이 아직 없습니다.