arXiv:2407.10825

Wicked Oddities: Selectively Poisoning for Effective Clean-Label Backdoor Attacks

Quang H. Nguyen, Nguyen Ngoc-Hieu, The-Anh Ta, Thanh Nguyen-Tang, Kok-Seng Wong, Hoang Thanh-Tung, Khoa D. Doan

제출 2024-07-15

원문 초록

Deep neural networks are vulnerable to backdoor attacks, a type of adversarial attack that poisons the training data to manipulate the behavior of models trained on such data. Clean-label attacks are a more stealthy form of backdoor attacks that can perform the attack without changing the labels of poisoned data. Early works on clean-label attacks added triggers to a random subset of the training set, ignoring the fact that samples contribute unequally to the attack's success. This results in high poisoning rates and low attack success rates. To alleviate the problem, several supervised learning-based sample selection strategies have been proposed. However, these methods assume access to the entire labeled training set and require training, which is expensive and may not always be practical. This work studies a new and more practical (but also more challenging) threat model where the attacker only provides data for the target class (e.g., in face recognition systems) and has no knowledge of the victim model or any other classes in the training set. We study different strategies for selectively poisoning a small set of training samples in the target class to boost the attack success rate in this setting. Our threat model poses a serious threat in training machine learning models with third-party datasets, since the attack can be performed effectively with limited information. Experiments on benchmark datasets illustrate the effectiveness of our strategies in improving clean-label backdoor attacks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27022v1cs.CV공통 태그 Face Recognition, Adversarial Attack

비식별화 시스템에서의 적대적 공격과 신원 유출: 실증 연구

Adversarial Attacks and Identity Leakage in De-Identification Systems: An Empirical Study

본 논문에서는 현실적인 비식별화 프레임워크 내 신원 인코더에 대한 적대적 공격의 영향을 조사한다. 실험 결과, 외부 대리 모델에서 시스템 모델(예: CosFace에서 ArcFace)로 공격의 전이(transferability)가 이루어질 때, 공격자가 충분히 민감한 얼굴 인식 시스템에서 신원 정보가 유출되도록 할 수 있음을 보여준다. 우리는 실험적 근거를 제시하고 이 취약성을 완화하기 위한 전략을 제안한다. 구체적으로, 적대적 예제에 대한 미세조정이 왜곡 기반 공격(즉, snow, fog 등)에 대한 이 효과를 완화하는 데 도움이 되는 방법을 보이며, 단순 저역 통과 필터는 비식별화된 이미지에 영향을 주지 않으면서 적대적 노이즈의 효과를 줄일 수 있음을 보인다. 이러한 완화 방법은 기능을 유지하면서 적대적 노이즈에 대해 훨씬 더 견고한 비식별화 시스템을 만든다.

arXiv:2609.23596v1cs.CV공통 태그 Face Recognition, Adversarial Attack

StyleAT: 의미론적 공격에 대한 얼굴 인식 방어

StyleAT: Defending Face Recognition Against Semantic Attacks

얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.

arXiv:2607.08156v1cs.CV공통 태그 Face Recognition, Adversarial Attack

세밀한 의미론적 지도를 통한 통합 얼굴 공격 탐지

Unified Face Attack Detection via Fine-Grained Semantic Guidance

얼굴 인식 시스템의 응용이 확대됨에 따라 보안 위협 또한 점점 다양해지고 있다. 기존 데이터셋은 위조 단서에 대한 상세한 텍스트 설명이 부족하여, 대부분의 선행 연구들이 얼굴 공격 탐지를 주로 시각적 인식 태스크로 다루어 왔다. 본 논문에서는 800만 장 이상의 공격 이미지를 포함하는 대규모 MS-UFAD 데이터셋을 기반으로, 각 이미지에 위조 단서에 대한 세밀한 텍스트 설명을 추가로 부여한다. 나아가 이러한 텍스트 정보를 효과적으로 활용하기 위해 이중 정렬 위조 네트워크(DAF-Net, Dual Alignment Forgery Network)를 제안한다. 광범위한 실험을 통해 본 접근법이 공격 이미지로부터 더욱 일반화 가능하고 의미론적으로 풍부한 위조 표현을 추출하며, 비전 단독 방법과 거친 수준의 설명에 기반한 접근법 모두를 능가함을 입증한다.

arXiv:2607.01442v1cs.CR공통 태그 Face Recognition, Adversarial Attack

위조에서 파운데이션 모델까지: 신분증 공격 및 탐지에 대한 체계적 서베이

From Forgeries to Foundation Models: A Systematic Survey of Identity Document Attack and Detection

신분증 위조는 근본적인 능력 전환을 겪었다. 생성형 AI 도구는 이제 최소한의 기술 전문성으로 고품질 문서 합성 및 필드 수준 조작을 가능하게 하는 반면, 탐지 방법은 이러한 위협을 반영하지 못하는 벤치마크에 의해 제약된 상태다. 이로 인한 공격 표면은 물리적 제시 공격, 디지털 주입 공격, 완전 생성적 합성에 걸쳐 있으며, 통합된 위협 모델 및 평가 프레임워크를 필요로 하는 고유한 포렌식 실패 모드를 도입한다. 본 서베이는 단일 신원 확인 위협 모델 내에서 제시 공격(Presentation Attacks), 디지털 주입 공격(Digital Injection Attacks), 그리고 생성형 AI 기반 합성을 최초로 통합적으로 다룬다. 규칙 기반 휴리스틱에서 포렌식 로컬라이제이션, 주입 인식 파이프라인, 파운데이션 모델(foundation models), 퓨샷(few-shot) 프레임워크에 이르기까지 탐지 방법론의 발전을 추적한다. 2019년부터 2025년까지의 공개 데이터셋에 대한 체계적 감사는 벤치마크 조건과 실제 운영 배포 간의 지속적인 현실 격차(Reality Gap)를 드러낸다. 또한 신분증 조작을 위한 대규모 멀티모달 모델을 분석하여, 비라틴 문자 인페인팅에서 반복적으로 나타나는 타이포그래피 실패 모드인 스크립트 의존적 생성 불안정성(Script-Dependent Generative Instability, SDGI)을 식별한다. 마지막으로, 미공개 합성 신분증에 대한 제로샷(zero-shot) 벤치마킹 결과, 가장 강력한 공개 모델조차 보안 지향적 운영 조건에서 APCER 값이 25% 이상을 기록함으로써 크로스 도메인 일반화의 상당한 한계를 드러낸다. 본 연구는 포렌식 근거에 기반하고, 프라이버시를 보존하며, 법적 책임을 갖춘 신원 확인 시스템을 향한 미래 방향을 제시하며 마무리한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.