Struggle with Adversarial Defense? Try Diffusion
원문 초록
Adversarial attacks induce misclassification by introducing subtle perturbations. Recently, diffusion models are applied to the image classifiers to improve adversarial robustness through adversarial training or by purifying adversarial noise. However, diffusion-based adversarial training often encounters convergence challenges and high computational expenses. Additionally, diffusion-based purification inevitably causes data shift and is deemed susceptible to stronger adaptive attacks. To tackle these issues, we propose the Truth Maximization Diffusion Classifier (TMDC), a generative Bayesian classifier that builds upon pre-trained diffusion models and the Bayesian theorem. Unlike data-driven classifiers, TMDC, guided by Bayesian principles, utilizes the conditional likelihood from diffusion models to determine the class probabilities of input images, thereby insulating against the influences of data shift and the limitations of adversarial training. Moreover, to enhance TMDC's resilience against more potent adversarial attacks, we propose an optimization strategy for diffusion classifiers. This strategy involves post-training the diffusion model on perturbed datasets with ground-truth labels as conditions, guiding the diffusion model to learn the data distribution and maximizing the likelihood under the ground-truth labels. The proposed method achieves state-of-the-art performance on the CIFAR10 dataset against heavy white-box attacks and strong adaptive attacks. Specifically, TMDC achieves robust accuracies of 82.81% against $l_{\infty}$ norm-bounded perturbations and 86.05% against $l_{2}$ norm-bounded perturbations, respectively, with $\epsilon=0.05$.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Linguistic Firewall: Geometry as Defense in Multi-Agent Systems Routing
RAS: 거부 정렬을 통한 LLM 안전성 측정
RAS: Measuring LLM Safety Through Refusal Alignment
오픈 웨이트 거대 언어 모델의 반복적인 안전성 평가에는 서로 관련된 다수의 체크포인트에 대해 응답을 생성하고 판정하는 과정이 필요하다. 우리는 5단계 SafeVec 절차로 계산되는, 유해 요청 거부에 대한 표현 기반의 참조 상대적 지표인 RAS(Refusal Alignment Score)를 소개한다. SafeVec은 정렬된 참조 모델로부터 계층별 거부 방향을 추출하고, 관련 대상 모델에서 그 정렬 정도를 측정하며, 참조 모델과 보정 모델의 행동적 공격 성공률(ASR)을 이용하여 0에서 100 사이의 점수를 보정한다. 이후의 대상 모델 점수 산출에는 입력 순전파만 사용된다. Llama, Gemma, Qwen 계열에서 따로 떼어 둔 18개 변형 모델에 걸쳐 RAS는 $100(1-\mathrm{ASR})$과 상관관계를 보이며(Pearson 0.934, Spearman 0.851) 83.0%의 쌍별 순서 일치도를 달성한다. Llama 참조 모델에 대한 다섯 가지 프롬프트 구성에 걸쳐 방향들의 평균 코사인 유사도는 0.939이다. 보정 ASR을 이미 확보한 경우, 설정 비용을 포함한 다섯 개 대상 모델의 평가는 규정된 행동 프로토콜 대비 3.2배에서 80.5배의 속도 향상을 달성한다. 이러한 결과는 거부 정렬이 관련 체크포인트를 선별하고 행동 감사의 우선순위를 정하는 데 효율적인 신호임을 뒷받침한다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
Agent MechSuits: Mechanistic Subspace Safety Steering for Multi-Turn CLI Agents
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
RedPhys: An Extensible Red-Teaming Platform for Physical-World Models and Agents
토론
이 논문과 연결된 포럼 글이 아직 없습니다.