arXiv:2203.04405

Art-Attack: Black-Box Adversarial Attack via Evolutionary Art

Phoenix Williams, Ke Li

제출 2022-03-07

원문 초록

Deep neural networks (DNNs) have achieved state-of-the-art performance in many tasks but have shown extreme vulnerabilities to attacks generated by adversarial examples. Many works go with a white-box attack that assumes total access to the targeted model including its architecture and gradients. A more realistic assumption is the black-box scenario where an attacker only has access to the targeted model by querying some input and observing its predicted class probabilities. Different from most prevalent black-box attacks that make use of substitute models or gradient estimation, this paper proposes a gradient-free attack by using a concept of evolutionary art to generate adversarial examples that iteratively evolves a set of overlapping transparent shapes. To evaluate the effectiveness of our proposed method, we attack three state-of-the-art image classification models trained on the CIFAR-10 dataset in a targeted manner. We conduct a parameter study outlining the impact the number and type of shapes have on the proposed attack's performance. In comparison to state-of-the-art black-box attacks, our attack is more effective at generating adversarial examples and achieves a higher attack success rate on all three baseline models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10617v1cs.CR공통 태그 Image Classification, Adversarial Attack

MRCert: 유형별 마스킹을 통한 적대적 패치 적용 샘플의 배포 후 패치 강건성 인증 기법

MRCert: Towards Post-deployment Patch Robustness Certification for Adversarially Patched Samples via Type-specific Masking

배포 후 단계에서 심층 학습(deep learning) 모델에 입력되는 데이터는 적대적 패치가 적용되었을 수도 있고 그렇지 않을 수도 있습니다. 패치 경계 내에서 이러한 입력에 대한 패치 강건성 인증은 라벨의 무해성(benignity)을 검증할 수 있으며 높은 예측 정확도를 유지해야 합니다. 그러나 기존의 스무딩(smoothing) 기반 및 마스킹(masking) 기반 복구 방어 기법들은 이 두 가지를 동시에 달성하지 못합니다. 즉, 전자는 예측 정확도를 크게 저하시키고, 후자는 적대적 패치가 적용된 입력에 대해 반환된 라벨의 무해성을 검증할 수 없습니다. 본 연구에서는 두 목표를 모두 달성할 수 있는 타당성을 보여주는 최초의 마스킹 기반 인증 복구 방어 기법인 MRCert를 제안합니다. 인증을 위해 두 유형의 입력(무해한 샘플 및 적대적 패치가 적용된 샘플) 전체에 공통 조건을 적용하는 기존의 모든 연구와 달리, MRCert는 배포 후 단계에서 두 유형에 대한 심층 학습 모델의 유형별 필수 속성을 추론하고, 라벨 복구 및 인증 함수 쌍의 새로운 유형 지향 설계를 통해 라벨 무해성을 검증하도록 이들을 정형적으로 연결합니다. 실험 결과에 따르면 MRCert는 스무딩으로 인한 클린 정확도 저하를 유발하지 않으면서도 패치 크기 16픽셀의 ImageNet에서 35.1%의 적대적 인증 정확도를 달성한 반면, 최고 성능(SOTA)의 PatchCURE는 완전히 실패함을 확인했습니다.

arXiv:2607.22722v1cs.CV공통 태그 Image Classification, Adversarial Attack

새로운 유형의 적대적 예제: 인간-모델 격차 측정 및 OOD 탐지와의 관계

A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection

거의 모든 적대적 공격은 모델을 속이기 위해 인지할 수 없는 교란(perturbation)을 추가한다. 우리는 반대를 연구한다: 인간이 더 이상 이미지를 인식하지 못하더라도 모델이 원래의 올바른 예측을 유지하게 만드는 크고 명확히 보이는 교란이다. 이전 연구는 이러한 예제를 대규모로 생성할 수 있음을 보여주었지만 세 가지 질문을 검증하지 않았다: 인간이 실제로 모델보다 성능이 더 나쁜지, 표준 분포 밖(out-of-distribution, OOD) 탐지 및 보정(calibration) 도구가 이를 포착하는지, 기존 방어 기법이 이를 완화하는지. 우리는 MNIST, CIFAR-10, ImageNet에서 세 가지 모두에 답한다. (i) 독립적인 인식기 프록시는 CIFAR-10에서 ~49%까지 떨어지는 반면 모델은 100%를 유지한다 — 소규모 인간 파일럿(N=5)이 직접 뒷받침하는 격차이며, 신호 손실로는 설명되지 않는다(동일 크기의 가우시안 대조군이 인식 가능성을 더 빠르게 저하시킴); CLIP 제로샷 프록시도 ImageNet 규모에서 동일한 격차를 확인한다. (ii) 신뢰도 및 에너지 기반 OOD 탐지기와 보정은 구조적으로 탐지하지 못한다(탐지율 0%, ECE ~= 0). 반면 특징(feature) 공간 Mahalanobis 탐지기는 100%를 탐지하지만, 적응형 공격자가 성공률 손실 없이 이를 회피한다. (iii) 적대적 학습(adversarial training, robust accuracy 45%)을 포함한 어떤 고전적 방어 기법도 공격 성공률을 낮추지 않는다(large-epsilon_l 저항성과의 상관 r ~= 0). 기계론적 분석은 추가로 이 공격이 엣지/형태 구조보다 저수준 텍스처를 훨씬 빠르게 파괴함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.