arXiv:2401.04136

The Stronger the Diffusion Model, the Easier the Backdoor: Data Poisoning to Induce Copyright Breaches Without Adjusting Finetuning Pipeline

Haonan Wang, Qianli Shen, Yao Tong, Yang Zhang, Kenji Kawaguchi

제출 2024-01-07

원문 초록

The commercialization of text-to-image diffusion models (DMs) brings forth potential copyright concerns. Despite numerous attempts to protect DMs from copyright issues, the vulnerabilities of these solutions are underexplored. In this study, we formalized the Copyright Infringement Attack on generative AI models and proposed a backdoor attack method, SilentBadDiffusion, to induce copyright infringement without requiring access to or control over training processes. Our method strategically embeds connections between pieces of copyrighted information and text references in poisoning data while carefully dispersing that information, making the poisoning data inconspicuous when integrated into a clean dataset. Our experiments show the stealth and efficacy of the poisoning data. When given specific text prompts, DMs trained with a poisoning ratio of 0.20% can produce copyrighted images. Additionally, the results reveal that the more sophisticated the DMs are, the easier the success of the attack becomes. These findings underline potential pitfalls in the prevailing copyright protection strategies and underscore the necessity for increased scrutiny to prevent the misuse of DMs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.19227v3cs.CR공통 태그 Data Poisoning, Backdoor Attack

토큰 단위로 침해되다: 통합 자기회귀 모델에서의 백도어 취약점

Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models

통합 자기회귀 모델(Unified Autoregressive Model, UAM)은 단일 자기회귀 패스 내에서 텍스트뿐만 아니라 이미지 토큰도 함께 생성하는 트랜스포머 모델입니다. 공유 매개변수와 멀티모달 어휘는 학습 파이프라인을 단순화하고 유연한 멀티모달 생성을 촉진하지만, 새로운 취약점을 야기할 수도 있습니다. 특히, 본 연구는 이러한 통합 아키텍처가 하나의 트리거로 여러 출력 모달리티에 걸쳐 악의적 영향을 전파할 수 있는 멀티모달 백도어 공격을 가능하게 함을 최초로 보입니다. 구체적으로, 데이터 기반 및 모델 기반 포이즈닝 전략을 모두 탐색하며 UAM을 표적으로 한 최초의 백도어 공격인 ToBAC(Token by Token Backdoor Attack)을 제시합니다. 눈에 띄지 않는 문자나 일상적인 단어조차도 자기회귀 이미지 생성에서 유해한 동작을 유발하는 트리거로 변환될 수 있음을 입증합니다. ToBAC은 시각적 출력과 수반되는 텍스트를 함께 조작하여 위조된 콘텐츠의 체감 진위성을 높일 수 있습니다. 모델 접근이 가능한 경우, ToBAC은 Liquid 모델을 대상으로 미묘한 단어(예: "cool")를 통해 생성의 55%에서 모달리티에 부합하는 브랜드 홍보나 이념적 영향을 유도하는 공격을 가능하게 합니다. 모델 접근이 없는 경우에도 ToBAC은 데이터 포이즈닝을 통해 유도될 수 있으며, JanusPro를 상대로 평균 63.1%의 성공률을 달성합니다. 코드는 https://github.com/multimodal-ai-lab/ToBAC 에서 확인할 수 있습니다.

arXiv:2602.04899v3cs.CR공통 태그 Data Poisoning, Backdoor Attack

팬텀 트랜스퍼: 데이터 포이즈닝은 데이터 수준 방어를 뚫고 생존할 수 있다

Phantom Transfer: Data Poisoning can Survive Data-Level Defences

우리는 데이터 포이즈닝(data poisoning) 공격인 Phantom Transfer를 제시한다. 이 공격은 그렇지 않으면 안전한(benign) 데이터셋에 독성 데이터가 어떻게 삽입되었는지를 정확히 알고 있어도 이를 걸러낼 수 없다는 특성을 가진다. 우리는 서브리미널 학습(subliminal learning)을 실제 환경에서 동작하도록 수정하여 이를 달성하였으며, 이 공격이 데이터를 생성한 모델이 무엇이든, 데이터로 학습되는 모델이 무엇이든, 공격 대상이 무엇이든 관계없이 작동함을 보인다. 더 나아가, 이 공격은 테스트된 11가지 데이터 수준 방어를 모두 통과하며, 그중에는 모든 샘플을 다른 모델이 의역(paraphrase)하는 방어도 포함된다. 우리는 이 공격이 가장 효과적으로 작동하는 조건을 규명하고, 방어를 여전히 무력화하면서 모델에 비밀번호로 트리거되는 행동을 심는 데 사용될 수 있음을 보인다. 우리는 향후 방어 체계가 화이트박스(white-box) 기법과 사후 학습(post-training) 모델 감사(audit)로 보완되어야 한다고 제안한다.

arXiv:2609.36117v2cs.LG공통 태그 Data Poisoning, Backdoor Attack

신경망에 백도어를 심는 것은 왜 이토록 쉬운가?

Why Backdooring Neural Networks is so Easy?

현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.

arXiv:2606.29112v1cs.LG공통 태그 Data Poisoning, Backdoor Attack

새로운 잠재 클래스 공격 및 클래스 부분공간 직교화를 통한 탐지

A Novel Latent-Class Attack and its Detection by Class Subspace Orthogonalization

일반적으로 대량의 학습 데이터에 의존하는 심층 학습(deep learning)은 오류 범용 공격(error-generic attack) 및 백도어(Trojan)를 포함한 데이터 포이즈닝(data poisoning) 공격에 취약하다. 본 연구에서는 잠재 클래스 공격(latent class attack)이라 명명한 새로운 데이터 포이즈닝 공격을 제안한다. 이 공격에서 모든 포이즈닝 예시는 주어진 분류 도메인에서 새로운(미지의) 클래스에 속하며, 도메인의 알려진 클래스(타깃 클래스) 중 하나로 잘못 레이블링된다. 이를 통해 모델이 새로운 클래스를 타깃 클래스의 하위 클래스로 인식하도록 학습된다. 이러한 공격은 예를 들어 AI 기반 접근 제어 시스템을 무력화하거나 "적"을 "아군"으로 분류하게 만드는 데 활용될 수 있다. 또한 학습 데이터셋에 대한 접근 없이 이 공격을 탐지하는 사후 학습(post-training) 방어 기법을 제안한다. 이 탐지 방식은 기존 백도어 탐지기를 개선하는 플러그앤플레이(plug-and-play) 패러다임으로 입증된 "클래스 부분공간 직교화(class subspace orthogonalization, CSO)"를 기반으로 한다. 여기서 CSO는 내부 표현이 알려진 어떤 클래스와도 정렬되지 않으면서도 이러한 클래스 중 하나로 높은 확신도로 분류되는 입력(추정된 미지 클래스 인스턴스)을 탐색하는 데 활용된다. 마지막으로, 이미지 분류(image classification) 도메인에 특화하여 추정된 미지 클래스 인스턴스를 시각화하는 방법을 제안함으로써 잠재 클래스 탐지에 대한 설명 가능성을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.