arXiv:2402.02739

DisDet: Exploring Detectability of Backdoor Attack on Diffusion Models

Yang Sui, Huy Phan, Jinqi Xiao, Tianfang Zhang, Zijie Tang, Cong Shi, Yan Wang, Yingying Chen, Bo Yuan

제출 2024-02-05

원문 초록

In the exciting generative AI era, the diffusion model has emerged as a very powerful and widely adopted content generation and editing tool for various data modalities, making the study of their potential security risks very necessary and critical. Very recently, some pioneering works have shown the vulnerability of the diffusion model against backdoor attacks, calling for in-depth analysis and investigation of the security challenges of this popular and fundamental AI technique. In this paper, for the first time, we systematically explore the detectability of the poisoned noise input for the backdoored diffusion models, an important performance metric yet little explored in the existing works. Starting from the perspective of a defender, we first analyze the properties of the trigger pattern in the existing diffusion backdoor attacks, discovering the important role of distribution discrepancy in Trojan detection. Based on this finding, we propose a low-cost trigger detection mechanism that can effectively identify the poisoned input noise. We then take a further step to study the same problem from the attack side, proposing a backdoor attack strategy that can learn the unnoticeable trigger to evade our proposed detection scheme. Empirical evaluations across various diffusion models and datasets demonstrate the effectiveness of the proposed trigger detection and detection-evading attack strategy. For trigger detection, our distribution discrepancy-based solution can achieve a 100\% detection rate for the Trojan triggers used in the existing works. For evading trigger detection, our proposed stealthy trigger design approach performs end-to-end learning to make the distribution of poisoned noise input approach that of benign noise, enabling nearly 100\% detection pass rate with very high attack and benign performance for the backdoored diffusion models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.05670v3cs.LG공통 태그 Backdoor Attack공식 코드 · Papers with Code

그래디언트 기반 학습에서 데이터 중독에 대한 인증된 견고성

Certified Robustness to Data Poisoning in Gradient-Based Training

현대 기계학습 파이프라인은 대량의 공개 데이터를 활용하므로 데이터 품질을 보장하기 어렵고, 모델이 데이터 중독(data poisoning) 및 백도어(backdoor) 공격에 노출됩니다. 이러한 공격 하에서 모델 동작을 증명 가능하게 한정하는 것은 여전히 미해결 문제입니다. 본 연구에서는 모델이나 학습 알고리즘을 수정하지 않고도 잠재적으로 조작된 데이터로 학습된 모델의 동작에 대한 증명 가능한 보장을 제공하는 최초의 프레임워크를 개발하여 이 문제에 대응합니다. 특히 본 프레임워크는 학습 입력과 레이블에 대한 유계 및 무계 조작에 대해 비표적 및 표적 중독과 백도어 공격 모두에 대한 견고성을 인증합니다. 본 방법은 볼록 완화(convex relaxation)를 활용하여 주어진 중독 위협 모델에 대한 모든 가능한 매개변수 업데이트 집합을 과대 근사함으로써, 모든 그래디언트 기반 학습 알고리즘에 대해 도달 가능한 매개변수 집합 전체를 경계합니다. 이 매개변수 집합을 바탕으로 모델 성능과 백도어 성공률을 포함한 최악의 경우 동작에 대한 경계를 제공합니다. 에너지 소비, 의료 영상, 자율 주행 등의 응용 분야에서 다수의 실제 데이터셋에 대해 본 접근법을 시연합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.