Towards Robust Deep Neural Networks
원문 초록
We investigate the topics of sensitivity and robustness in feedforward and convolutional neural networks. Combining energy landscape techniques developed in computational chemistry with tools drawn from formal methods, we produce empirical evidence indicating that networks corresponding to lower-lying minima in the optimization landscape of the learning objective tend to be more robust. The robustness estimate used is the inverse of a proposed sensitivity measure, which we define as the volume of an over-approximation of the reachable set of network outputs under all additive $l_{\infty}$-bounded perturbations on the input data. We present a novel loss function which includes a sensitivity term in addition to the traditional task-oriented and regularization terms. In our experiments on standard machine learning and computer vision datasets, we show that the proposed loss function leads to networks which reliably optimize the robustness measure as well as other related metrics of adversarial robustness without significant degradation in the classification error. Experimental results indicate that the proposed method outperforms state-of-the-art sensitivity-based learning approaches with regards to robustness to adversarial attacks. We also show that although the introduced framework does not explicitly enforce an adversarial loss, it achieves competitive overall performance relative to methods that do.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
샘플링이 아닌 검증: 비전-언어 및 비전-언어-액션 모델의 영역 수준 강건성
Validating, Not Sampling: Region-Level Robustness of Vision-Language and Vision-Language-Action Models
비전-언어 모델(VLM)과 비전-언어-액션 모델(VLA)은 실제 응용 환경에 점점 더 많이 배포되고 있다. 이러한 환경에서는 기록된 카메라 이미지에 가해진 작은 교란(perturbation)이 결정을 크게 바꿀 수 있다. 그러나 이들 모델에 대한 기존 벤치마크는 교란을 샘플링하는 데 그치기 때문에, 테스트되지 않은 영역에서 실패가 존재하지 않음을 보장하지 못한다. 우리는 밝기 변화, 카메라 회전, 그리고 이들의 조합으로 이루어진 광도(photometric) 및 기하학적(geometric) 이미지 교란의 전체 연속 영역에 걸쳐, 6개의 VLM(Gemma, InternVL, LLaVA, Qwen 계열)과 5개의 VLA(GR00T, OpenVLA, π 계열)에 대한 최초의 강건성 검증을 제시한다. 이를 위해 우리는 검증 프레임워크 H²V를 기반으로, 320억 매개변수(32B parameter) 규모에서도 검증을 실용적으로 가능하게 하는 마진 인지(margin-aware) 수렴 규칙인 H²V-M을 도입한다. 우리는 H²V-M이 모델 질의(query) 횟수 측면에서 H²V보다 한 자릿수(order of magnitude) 더 우수하며, 건전성(soundness) 보장을 제공하면서도 무작위 샘플링보다 더 빠르게 반례(counterexample)를 찾아낸다는 것을 보인다. VLM 및 VLA 강건성 검증 결과, 강건성은 모델보다는 교란 유형에 주로 의존하며, VLM이 큰 카메라 회전에 대해 VLA보다 더 강건하다는 것을 알 수 있다. VLA의 경우, ±1°만큼 작은 교란조차도 많은 경우 명령된 행동(action)을 바꿀 수 있다. 또한 우리는 강건성이 모델 크기보다는 모델 계열(model family)에 더 크게 의존한다는 것을 보인다.
최대적으로 견고한 만족형 베이지안 최적화
Maximally Robust Satisficing Bayesian Optimization
많은 설계 작업은 블랙박스(black-box) 함수 최적화 문제로 표현할 수 있으며, 이를 통해 최소한의 시행 횟수로 이상적인 설계를 찾기 위해 베이지안 최적화(Bayesian optimization)를 활용할 수 있다. 그러나 종종 실제로는 최적해가 아니라 충분히 좋은 해로도 충분한 경우가 많다. 예를 들어 의도한 용도에 충분히 내구성이 있는 재료가 그러하다. 대부분의 경우 여러 만족스러운 해가 존재하며, 이는 함수의 상위 수준 집합(superlevel set)을 형성하므로, 어떤 해를 선호해야 하는지가 핵심 질문이 된다. 우리는 이 질문에 대해, 해가 배포된 후 발생할 수 있는 입력 섭동(perturbation)에 대한 견고성(robustness)이 왜 좋은 기준이 되는지 설명하고, 가능한 한 가장 큰 섭동에도 견고한 만족형(satisficing) 해를 효율적으로 찾는 베이지안 최적화 방법을 제안함으로써 답한다. 기존 연구들과 달리, 우리는 최적화 중에는 입력을 정확하게 제어할 수 있지만 배포 이후에는 섭동이 발생한다고 가정한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
USAD: 불확실성 인식 통계적 적대적 탐지
USAD: Uncertainty-aware Statistical Adversarial Detection
통계적 적대적 탐지(SAD)는 탐지를 2-표본 검정으로 취급한다. 깨끗한 예제(CE)의 참조 집합과, 알 수 없는 비율로 CE와 적대적 예제(AE)가 섞여 있을 수 있는 쿼리 배치가 주어졌을 때, SAD는 거짓 경보율을 통제하면서 쿼리 분포가 CE 분포에서 벗어났는지 판단한다. 기존 SAD 기반 방법은 주로 분포 간 불일치를 측정하기 위해 최대 평균 불일치(MMD)를 사용한다. 그러나 MMD의 분포적 특성은 탐지에 중요한 AE의 특징적 불확실성 패턴을 포착하는 능력을 제한한다. AE는 일반적으로 비정상적인 특징 퍼짐(즉, 전역 불확실성)과 교란에 대한 불안정성(즉, 국소 불확실성)을 보인다. 이 간극을 메우기 위해 우리는 두 가지 새로운 통계량으로 이러한 불확실성 패턴을 명시적으로 포착하는 불확실성 인지 통계적 적대적 탐지(USAD)를 제안한다. (1) 분산 불일치(VD)는 AE와 CE 사이의 특징 퍼짐의 차이를 측정하여 전역 불확실성 차이를 포착한다. (2) 교란 기반 공분산 불일치(PCD)는 가우시안 교란 하에서 특징 공분산을 비교하여 국소 불확실성 차이를 포착한다. VD와 PCD를 집계함으로써 USAD는 다양한 적대적 공격에 대해 기준선 방법보다 우수한 탐지 성능을 달성하며, 효과적인 SAD를 위해 AE의 특징적 행동을 고려하는 것이 중요함을 보여 준다. 코드는 https://github.com/yeager20001118/USAD 에서 이용할 수 있다.
활성화 콘 사각지대 해소: 응답 시간 프로빙과 통합 방어
Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense
v2 관련 안내(2026년 11월): 평가 코드에서 오류가 발견되어 v1에 보고된 실험 결과는 뒷받침되지 않는다. 이론적 따름정리는 영향을 받지 않는다. 자세한 내용은 1쪽의 공지와 링크된 저장소의 KNOWN_ISSUES.md에 있다. 우리는 7개의 지시 튜닝 모델(7-31B)과 5가지 공격 유형(GCG, AutoDAN, DeepInception, prefilling, intent laundering)에 걸쳐 5가지 추론 시점 안전 패러다임(방어 없음, 정적 스티어링, CAST, AlphaSteer, 프로브 게이트 스티어링)을 비교한다. 우리는 하나의 따름정리를 도출한다. 개입 여부를 단일 층의 활성화가 양성 참조(원뿔, 부분공간 또는 영공간)와 정렬되는지에 따라 결정하는 방어는, 프롬프트 시점에 검사하든 토큰별로 검사하든, 활성화가 그 참조 내부에 놓이도록 조작하는 공격에 대해 맹점을 가진다. prefilling 공격에 대해서는 응답 시점 프로빙(response-time probing)을 제안하는데, 이는 처음 생성되는 토큰들의 은닉 상태에 대한 선형 프로브와 중단(halt)을 결합한 것이며, 이 중단을 AlphaSteer의 영공간 스티어링과 결합한다. 또한 MMLU가 스티어링의 유용성 비용을 포착하는지, 그리고 음성 학습 집합의 다양성이 프로브의 거짓 양성률에 어떤 영향을 미치는지도 살펴본다. 코드, 공격, 샘플별 결과를 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.