arXiv:2404.13946

Dual Model Replacement:invisible Multi-target Backdoor Attack based on Federal Learning

Rong Wang, Guichen Zhou, Mingjun Gao, Yunpeng Xiao

제출 2024-04-22

원문 초록

In recent years, the neural network backdoor hidden in the parameters of the federated learning model has been proved to have great security risks. Considering the characteristics of trigger generation, data poisoning and model training in backdoor attack, this paper designs a backdoor attack method based on federated learning. Firstly, aiming at the concealment of the backdoor trigger, a TrojanGan steganography model with encoder-decoder structure is designed. The model can encode specific attack information as invisible noise and attach it to the image as a backdoor trigger, which improves the concealment and data transformations of the backdoor trigger.Secondly, aiming at the problem of single backdoor trigger mode, an image poisoning attack method called combination trigger attack is proposed. This method realizes multi-backdoor triggering by multiplexing combined triggers and improves the robustness of backdoor attacks. Finally, aiming at the problem that the local training mechanism leads to the decrease of the success rate of backdoor attack, a dual model replacement backdoor attack algorithm based on federated learning is designed. This method can improve the success rate of backdoor attack while maintaining the performance of the federated learning aggregation model. Experiments show that the attack strategy in this paper can not only achieve high backdoor concealment and diversification of trigger forms under federated learning, but also achieve good attack success rate in multi-target attacks.door concealment and diversification of trigger forms but also achieve good results in multi-target attacks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.19227v3cs.CR공통 태그 Data Poisoning, Backdoor Attack

토큰 단위로 침해되다: 통합 자기회귀 모델에서의 백도어 취약점

Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models

통합 자기회귀 모델(Unified Autoregressive Model, UAM)은 단일 자기회귀 패스 내에서 텍스트뿐만 아니라 이미지 토큰도 함께 생성하는 트랜스포머 모델입니다. 공유 매개변수와 멀티모달 어휘는 학습 파이프라인을 단순화하고 유연한 멀티모달 생성을 촉진하지만, 새로운 취약점을 야기할 수도 있습니다. 특히, 본 연구는 이러한 통합 아키텍처가 하나의 트리거로 여러 출력 모달리티에 걸쳐 악의적 영향을 전파할 수 있는 멀티모달 백도어 공격을 가능하게 함을 최초로 보입니다. 구체적으로, 데이터 기반 및 모델 기반 포이즈닝 전략을 모두 탐색하며 UAM을 표적으로 한 최초의 백도어 공격인 ToBAC(Token by Token Backdoor Attack)을 제시합니다. 눈에 띄지 않는 문자나 일상적인 단어조차도 자기회귀 이미지 생성에서 유해한 동작을 유발하는 트리거로 변환될 수 있음을 입증합니다. ToBAC은 시각적 출력과 수반되는 텍스트를 함께 조작하여 위조된 콘텐츠의 체감 진위성을 높일 수 있습니다. 모델 접근이 가능한 경우, ToBAC은 Liquid 모델을 대상으로 미묘한 단어(예: "cool")를 통해 생성의 55%에서 모달리티에 부합하는 브랜드 홍보나 이념적 영향을 유도하는 공격을 가능하게 합니다. 모델 접근이 없는 경우에도 ToBAC은 데이터 포이즈닝을 통해 유도될 수 있으며, JanusPro를 상대로 평균 63.1%의 성공률을 달성합니다. 코드는 https://github.com/multimodal-ai-lab/ToBAC 에서 확인할 수 있습니다.

arXiv:2602.04899v3cs.CR공통 태그 Data Poisoning, Backdoor Attack

팬텀 트랜스퍼: 데이터 포이즈닝은 데이터 수준 방어를 뚫고 생존할 수 있다

Phantom Transfer: Data Poisoning can Survive Data-Level Defences

우리는 데이터 포이즈닝(data poisoning) 공격인 Phantom Transfer를 제시한다. 이 공격은 그렇지 않으면 안전한(benign) 데이터셋에 독성 데이터가 어떻게 삽입되었는지를 정확히 알고 있어도 이를 걸러낼 수 없다는 특성을 가진다. 우리는 서브리미널 학습(subliminal learning)을 실제 환경에서 동작하도록 수정하여 이를 달성하였으며, 이 공격이 데이터를 생성한 모델이 무엇이든, 데이터로 학습되는 모델이 무엇이든, 공격 대상이 무엇이든 관계없이 작동함을 보인다. 더 나아가, 이 공격은 테스트된 11가지 데이터 수준 방어를 모두 통과하며, 그중에는 모든 샘플을 다른 모델이 의역(paraphrase)하는 방어도 포함된다. 우리는 이 공격이 가장 효과적으로 작동하는 조건을 규명하고, 방어를 여전히 무력화하면서 모델에 비밀번호로 트리거되는 행동을 심는 데 사용될 수 있음을 보인다. 우리는 향후 방어 체계가 화이트박스(white-box) 기법과 사후 학습(post-training) 모델 감사(audit)로 보완되어야 한다고 제안한다.

arXiv:2609.36117v2cs.LG공통 태그 Data Poisoning, Backdoor Attack

신경망에 백도어를 심는 것은 왜 이토록 쉬운가?

Why Backdooring Neural Networks is so Easy?

현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.

arXiv:2606.29112v1cs.LG공통 태그 Data Poisoning, Backdoor Attack

새로운 잠재 클래스 공격 및 클래스 부분공간 직교화를 통한 탐지

A Novel Latent-Class Attack and its Detection by Class Subspace Orthogonalization

일반적으로 대량의 학습 데이터에 의존하는 심층 학습(deep learning)은 오류 범용 공격(error-generic attack) 및 백도어(Trojan)를 포함한 데이터 포이즈닝(data poisoning) 공격에 취약하다. 본 연구에서는 잠재 클래스 공격(latent class attack)이라 명명한 새로운 데이터 포이즈닝 공격을 제안한다. 이 공격에서 모든 포이즈닝 예시는 주어진 분류 도메인에서 새로운(미지의) 클래스에 속하며, 도메인의 알려진 클래스(타깃 클래스) 중 하나로 잘못 레이블링된다. 이를 통해 모델이 새로운 클래스를 타깃 클래스의 하위 클래스로 인식하도록 학습된다. 이러한 공격은 예를 들어 AI 기반 접근 제어 시스템을 무력화하거나 "적"을 "아군"으로 분류하게 만드는 데 활용될 수 있다. 또한 학습 데이터셋에 대한 접근 없이 이 공격을 탐지하는 사후 학습(post-training) 방어 기법을 제안한다. 이 탐지 방식은 기존 백도어 탐지기를 개선하는 플러그앤플레이(plug-and-play) 패러다임으로 입증된 "클래스 부분공간 직교화(class subspace orthogonalization, CSO)"를 기반으로 한다. 여기서 CSO는 내부 표현이 알려진 어떤 클래스와도 정렬되지 않으면서도 이러한 클래스 중 하나로 높은 확신도로 분류되는 입력(추정된 미지 클래스 인스턴스)을 탐색하는 데 활용된다. 마지막으로, 이미지 분류(image classification) 도메인에 특화하여 추정된 미지 클래스 인스턴스를 시각화하는 방법을 제안함으로써 잠재 클래스 탐지에 대한 설명 가능성을 제공한다.

arXiv:2606.17110v1cs.CR공통 태그 Federated Learning, Data Poisoning

손실 지형 포이즈닝: LLM에서 미관측 학습 데이터의 타겟 추출

Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs

대규모 언어 모델(LLM)은 점점 더 독점적이거나 민감한 데이터, 즉 개인 의료 및 금융 기록부터 비밀을 포함한 사용자 대화까지 다양한 데이터로 학습되고 있습니다. 추출 공격으로부터 이러한 데이터의 프라이버시를 보장하는 것은 중요한 관심사가 되었습니다. 본 논문에서는 학습 데이터의 일부를 포이즈닝(poisoning)할 수 있는 공격자가 접근 권한이 없는 별도의 타겟 레코드 유출을 용이하게 할 수 있는지 질문합니다. 우리는 긍정적으로 답하며, 이러한 유출이 타겟 완성 주변의 모델 지역 손실 지형(local loss landscape)을 재구성하는 포이즈닝 메커니즘을 통해 유도될 수 있음을 보여줍니다. 핵심 통찰은 타겟에서 날카로운 손실 최솟값을 생성하고 인접한 대안들에서 높은 손실을 둘러싸게 하는 포이즈닝이, 모델이 타겟을 해당 이웃에서 유일한 낮은 손실 해결책으로 암기하도록 강제한다는 것입니다. 이 공격은 아키텍처 변경을 필요로 하지 않으며, 중앙 집중식 및 연합 학습(federated learning) 설정에 걸쳐 일반화됩니다. 우리는 이 공격이 언어 모델(최대 100% 추출 성공) 및 비전-언어 모델(최대 90% 추출 성공)에서 프라이버시 유출을 증폭시킴을 입증합니다. 모델이 차등 프라이버시(differentially private)하게 학습될 때 공격이 저지됨을 보여줍니다. 그러나 우리는 손실 지형을 직접 탐색하여 차등 프라이버시 방어조차 우회하는 새로운 공격을 소개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.