arXiv:2206.12227

Adversarial Robustness of Deep Neural Networks: A Survey from a Formal Verification Perspective

Mark Huasong Meng, Guangdong Bai, Sin Gee Teo, Zhe Hou, Yan Xiao, Yun Lin, Jin Song Dong

제출 2022-06-24

원문 초록

Neural networks have been widely applied in security applications such as spam and phishing detection, intrusion prevention, and malware detection. This black-box method, however, often has uncertainty and poor explainability in applications. Furthermore, neural networks themselves are often vulnerable to adversarial attacks. For those reasons, there is a high demand for trustworthy and rigorous methods to verify the robustness of neural network models. Adversarial robustness, which concerns the reliability of a neural network when dealing with maliciously manipulated inputs, is one of the hottest topics in security and machine learning. In this work, we survey existing literature in adversarial robustness verification for neural networks and collect 39 diversified research works across machine learning, security, and software engineering domains. We systematically analyze their approaches, including how robustness is formulated, what verification techniques are used, and the strengths and limitations of each technique. We provide a taxonomy from a formal verification perspective for a comprehensive understanding of this topic. We classify the existing techniques based on property specification, problem reduction, and reasoning strategies. We also demonstrate representative techniques that have been applied in existing studies with a sample model. Finally, we discuss open questions for future research.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04292v1cs.AI공통 태그 Malware Detection, Adversarial Robustness

Agentic SABRE: 적응형 랜섬웨어 탐지를 위한 불확실성 인식 신경-기호 다중 에이전트 프레임워크

Agentic SABRE: An Uncertainty-Aware Neuro-Symbolic Multi-Agent Framework for Adaptive Ransomware Detection

랜섬웨어는 정적 시그니처와 모놀리식 분류기가 개념 드리프트(concept drift), 우회(evasion), 행동 다형성(behavioural polymorphism) 하에서 일반화에 실패하는 복잡하고 적응적이며 빠르게 변화하는 공격자 유형으로 진화하였다. 본 논문에서는 적응형 랜섬웨어 탐지를 위한 불확실성 인식 신경-기호 다중 에이전트 프레임워크인 Agentic SABRE(Semantic-Behavioural Arbitration for Ransomware Evaluation, 랜섬웨어 평가를 위한 의미-행동 중재)를 제시한다. SABRE는 의미론적·표현 기반 증거와 행동적·시간 윈도우 포렌식 텔레메트리를 융합하고, 몬테카를로 드롭아웃(Monte Carlo Dropout) 추론을 활용하여 각 에이전트의 인식론적 불확실성(epistemic uncertainty)을 정량화한다. 본 연구에서는 두 가지 해석 가능한 임계값인 위험 점수(risk score)와 불확실성 예산(uncertainty budget)을 사용해 위험 및 불확실성 인식 트리아지를 수행하는 결정 층 오케스트레이터를 도입한다. 고신뢰·고위험 샘플은 자동으로 격리되며, 불확실하거나 경계선상의 케이스는 인간 분석가에게 에스컬레이션되어 자율 대응과 분석가 감독 사이의 유연한 계산 계약을 확립한다. 감사 가능성과 신뢰성을 지원하기 위해 SABRE는 그래디언트 현저성(gradient saliency), 순열 중요도(permutation importance), 반사실적 분석(counterfactual analysis)을 포함한 사후 설명 가능성 메커니즘을 통합하여 에이전트 결정에 대한 로컬 및 글로벌 해석을 모두 가능하게 한다. RDset 및 RanSMAP에 대한 광범위한 평가를 통해 Agentic SABRE가 포화된 의미 데이터셋에서 AUC 1.0으로 완벽한 판별력을 유지하면서 약한 행동 신호 하에서 견고성을 향상시킴을 입증한다. 동일한 재현율에서 거짓 에스컬레이션을 최대 4.9% 상대적으로 감소시키면서 보정된 예측 불확실성을 유지한다. 반사실적 분석은 의미론적 및 행동적 결정이 제한된 섭동 비용으로 역전될 수 있음을 추가로 보여주며, 이는 안정적이고 해석 가능한 결정 경계를 나타낸다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.