arXiv:2010.09624

Optimism in the Face of Adversity: Understanding and Improving Deep Learning through Adversarial Robustness

Guillermo Ortiz-Jimenez, Apostolos Modas, Seyed-Mohsen Moosavi-Dezfooli, Pascal Frossard

제출 2020-10-19

원문 초록

Driven by massive amounts of data and important advances in computational resources, new deep learning systems have achieved outstanding results in a large spectrum of applications. Nevertheless, our current theoretical understanding on the mathematical foundations of deep learning lags far behind its empirical success. Towards solving the vulnerability of neural networks, however, the field of adversarial robustness has recently become one of the main sources of explanations of our deep models. In this article, we provide an in-depth review of the field of adversarial robustness in deep learning, and give a self-contained introduction to its main notions. But, in contrast to the mainstream pessimistic perspective of adversarial robustness, we focus on the main positive aspects that it entails. We highlight the intuitive connection between adversarial examples and the geometry of deep neural networks, and eventually explore how the geometric study of adversarial examples can serve as a powerful tool to understand deep learning. Furthermore, we demonstrate the broad applicability of adversarial robustness, providing an overview of the main emerging applications of adversarial robustness beyond security. The goal of this article is to provide readers with a set of new perspectives to understand deep learning, and to supply them with intuitive tools and insights on how to use adversarial robustness to improve it.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.25750v2cs.CR공통 태그 Adversarial Robustness

RAS: 거부 정렬을 통한 LLM 안전성 측정

RAS: Measuring LLM Safety Through Refusal Alignment

오픈 웨이트 거대 언어 모델의 반복적인 안전성 평가에는 서로 관련된 다수의 체크포인트에 대해 응답을 생성하고 판정하는 과정이 필요하다. 우리는 5단계 SafeVec 절차로 계산되는, 유해 요청 거부에 대한 표현 기반의 참조 상대적 지표인 RAS(Refusal Alignment Score)를 소개한다. SafeVec은 정렬된 참조 모델로부터 계층별 거부 방향을 추출하고, 관련 대상 모델에서 그 정렬 정도를 측정하며, 참조 모델과 보정 모델의 행동적 공격 성공률(ASR)을 이용하여 0에서 100 사이의 점수를 보정한다. 이후의 대상 모델 점수 산출에는 입력 순전파만 사용된다. Llama, Gemma, Qwen 계열에서 따로 떼어 둔 18개 변형 모델에 걸쳐 RAS는 $100(1-\mathrm{ASR})$과 상관관계를 보이며(Pearson 0.934, Spearman 0.851) 83.0%의 쌍별 순서 일치도를 달성한다. Llama 참조 모델에 대한 다섯 가지 프롬프트 구성에 걸쳐 방향들의 평균 코사인 유사도는 0.939이다. 보정 ASR을 이미 확보한 경우, 설정 비용을 포함한 다섯 개 대상 모델의 평가는 규정된 행동 프로토콜 대비 3.2배에서 80.5배의 속도 향상을 달성한다. 이러한 결과는 거부 정렬이 관련 체크포인트를 선별하고 행동 감사의 우선순위를 정하는 데 효율적인 신호임을 뒷받침한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2606.27832v2cs.LG공통 태그 Adversarial Robustness

USAD: 불확실성 인식 통계적 적대적 탐지

USAD: Uncertainty-aware Statistical Adversarial Detection

통계적 적대적 탐지(SAD)는 탐지를 2-표본 검정으로 취급한다. 깨끗한 예제(CE)의 참조 집합과, 알 수 없는 비율로 CE와 적대적 예제(AE)가 섞여 있을 수 있는 쿼리 배치가 주어졌을 때, SAD는 거짓 경보율을 통제하면서 쿼리 분포가 CE 분포에서 벗어났는지 판단한다. 기존 SAD 기반 방법은 주로 분포 간 불일치를 측정하기 위해 최대 평균 불일치(MMD)를 사용한다. 그러나 MMD의 분포적 특성은 탐지에 중요한 AE의 특징적 불확실성 패턴을 포착하는 능력을 제한한다. AE는 일반적으로 비정상적인 특징 퍼짐(즉, 전역 불확실성)과 교란에 대한 불안정성(즉, 국소 불확실성)을 보인다. 이 간극을 메우기 위해 우리는 두 가지 새로운 통계량으로 이러한 불확실성 패턴을 명시적으로 포착하는 불확실성 인지 통계적 적대적 탐지(USAD)를 제안한다. (1) 분산 불일치(VD)는 AE와 CE 사이의 특징 퍼짐의 차이를 측정하여 전역 불확실성 차이를 포착한다. (2) 교란 기반 공분산 불일치(PCD)는 가우시안 교란 하에서 특징 공분산을 비교하여 국소 불확실성 차이를 포착한다. VD와 PCD를 집계함으로써 USAD는 다양한 적대적 공격에 대해 기준선 방법보다 우수한 탐지 성능을 달성하며, 효과적인 SAD를 위해 AE의 특징적 행동을 고려하는 것이 중요함을 보여 준다. 코드는 https://github.com/yeager20001118/USAD 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.