Local Model Poisoning Attacks to Byzantine-Robust Federated Learning
원문 초록
In federated learning, multiple client devices jointly learn a machine learning model: each client device maintains a local model for its local training dataset, while a master device maintains a global model via aggregating the local models from the client devices. The machine learning community recently proposed several federated learning methods that were claimed to be robust against Byzantine failures (e.g., system failures, adversarial manipulations) of certain client devices. In this work, we perform the first systematic study on local model poisoning attacks to federated learning. We assume an attacker has compromised some client devices, and the attacker manipulates the local model parameters on the compromised client devices during the learning process such that the global model has a large testing error rate. We formulate our attacks as optimization problems and apply our attacks to four recent Byzantine-robust federated learning methods. Our empirical results on four real-world datasets show that our attacks can substantially increase the error rates of the models learnt by the federated learning methods that were claimed to be robust against Byzantine failures of some client devices. We generalize two defenses for data poisoning attacks to defend against our local model poisoning attacks. Our evaluation results show that one defense can effectively defend against our attacks in some cases, but the defenses are not effective enough in other cases, highlighting the need for new defenses against our local model poisoning attacks to federated learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
손실 지형 포이즈닝: LLM에서 미관측 학습 데이터의 타겟 추출
Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs
대규모 언어 모델(LLM)은 점점 더 독점적이거나 민감한 데이터, 즉 개인 의료 및 금융 기록부터 비밀을 포함한 사용자 대화까지 다양한 데이터로 학습되고 있습니다. 추출 공격으로부터 이러한 데이터의 프라이버시를 보장하는 것은 중요한 관심사가 되었습니다. 본 논문에서는 학습 데이터의 일부를 포이즈닝(poisoning)할 수 있는 공격자가 접근 권한이 없는 별도의 타겟 레코드 유출을 용이하게 할 수 있는지 질문합니다. 우리는 긍정적으로 답하며, 이러한 유출이 타겟 완성 주변의 모델 지역 손실 지형(local loss landscape)을 재구성하는 포이즈닝 메커니즘을 통해 유도될 수 있음을 보여줍니다. 핵심 통찰은 타겟에서 날카로운 손실 최솟값을 생성하고 인접한 대안들에서 높은 손실을 둘러싸게 하는 포이즈닝이, 모델이 타겟을 해당 이웃에서 유일한 낮은 손실 해결책으로 암기하도록 강제한다는 것입니다. 이 공격은 아키텍처 변경을 필요로 하지 않으며, 중앙 집중식 및 연합 학습(federated learning) 설정에 걸쳐 일반화됩니다. 우리는 이 공격이 언어 모델(최대 100% 추출 성공) 및 비전-언어 모델(최대 90% 추출 성공)에서 프라이버시 유출을 증폭시킴을 입증합니다. 모델이 차등 프라이버시(differentially private)하게 학습될 때 공격이 저지됨을 보여줍니다. 그러나 우리는 손실 지형을 직접 탐색하여 차등 프라이버시 방어조차 우회하는 새로운 공격을 소개합니다.
Self-Adaptive and Robust Federated Spectrum Sensing without Benign Majority for Cellular Networks
A Bayesian Incentive Mechanism for Poison-Resilient Federated Learning
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
토큰 단위로 침해되다: 통합 자기회귀 모델에서의 백도어 취약점
Token by Token, Compromised: Backdoor Vulnerabilities in Unified Autoregressive Models
통합 자기회귀 모델(Unified Autoregressive Model, UAM)은 단일 자기회귀 패스 내에서 텍스트뿐만 아니라 이미지 토큰도 함께 생성하는 트랜스포머 모델입니다. 공유 매개변수와 멀티모달 어휘는 학습 파이프라인을 단순화하고 유연한 멀티모달 생성을 촉진하지만, 새로운 취약점을 야기할 수도 있습니다. 특히, 본 연구는 이러한 통합 아키텍처가 하나의 트리거로 여러 출력 모달리티에 걸쳐 악의적 영향을 전파할 수 있는 멀티모달 백도어 공격을 가능하게 함을 최초로 보입니다. 구체적으로, 데이터 기반 및 모델 기반 포이즈닝 전략을 모두 탐색하며 UAM을 표적으로 한 최초의 백도어 공격인 ToBAC(Token by Token Backdoor Attack)을 제시합니다. 눈에 띄지 않는 문자나 일상적인 단어조차도 자기회귀 이미지 생성에서 유해한 동작을 유발하는 트리거로 변환될 수 있음을 입증합니다. ToBAC은 시각적 출력과 수반되는 텍스트를 함께 조작하여 위조된 콘텐츠의 체감 진위성을 높일 수 있습니다. 모델 접근이 가능한 경우, ToBAC은 Liquid 모델을 대상으로 미묘한 단어(예: "cool")를 통해 생성의 55%에서 모달리티에 부합하는 브랜드 홍보나 이념적 영향을 유도하는 공격을 가능하게 합니다. 모델 접근이 없는 경우에도 ToBAC은 데이터 포이즈닝을 통해 유도될 수 있으며, JanusPro를 상대로 평균 63.1%의 성공률을 달성합니다. 코드는 https://github.com/multimodal-ai-lab/ToBAC 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.