arXiv:2406.12222

BadSampler: Harnessing the Power of Catastrophic Forgetting to Poison Byzantine-robust Federated Learning

Yi Liu, Cong Wang, Xingliang Yuan

제출 2024-06-18

원문 초록

Federated Learning (FL) is susceptible to poisoning attacks, wherein compromised clients manipulate the global model by modifying local datasets or sending manipulated model updates. Experienced defenders can readily detect and mitigate the poisoning effects of malicious behaviors using Byzantine-robust aggregation rules. However, the exploration of poisoning attacks in scenarios where such behaviors are absent remains largely unexplored for Byzantine-robust FL. This paper addresses the challenging problem of poisoning Byzantine-robust FL by introducing catastrophic forgetting. To fill this gap, we first formally define generalization error and establish its connection to catastrophic forgetting, paving the way for the development of a clean-label data poisoning attack named BadSampler. This attack leverages only clean-label data (i.e., without poisoned data) to poison Byzantine-robust FL and requires the adversary to selectively sample training data with high loss to feed model training and maximize the model's generalization error. We formulate the attack as an optimization problem and present two elegant adversarial sampling strategies, Top-$\kappa$ sampling, and meta-sampling, to approximately solve it. Additionally, our formal error upper bound and time complexity analysis demonstrate that our design can preserve attack utility with high efficiency. Extensive evaluations on two real-world datasets illustrate the effectiveness and performance of our proposed attacks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.17110v1cs.CR공통 태그 Federated Learning, Data Poisoning

손실 지형 포이즈닝: LLM에서 미관측 학습 데이터의 타겟 추출

Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs

대규모 언어 모델(LLM)은 점점 더 독점적이거나 민감한 데이터, 즉 개인 의료 및 금융 기록부터 비밀을 포함한 사용자 대화까지 다양한 데이터로 학습되고 있습니다. 추출 공격으로부터 이러한 데이터의 프라이버시를 보장하는 것은 중요한 관심사가 되었습니다. 본 논문에서는 학습 데이터의 일부를 포이즈닝(poisoning)할 수 있는 공격자가 접근 권한이 없는 별도의 타겟 레코드 유출을 용이하게 할 수 있는지 질문합니다. 우리는 긍정적으로 답하며, 이러한 유출이 타겟 완성 주변의 모델 지역 손실 지형(local loss landscape)을 재구성하는 포이즈닝 메커니즘을 통해 유도될 수 있음을 보여줍니다. 핵심 통찰은 타겟에서 날카로운 손실 최솟값을 생성하고 인접한 대안들에서 높은 손실을 둘러싸게 하는 포이즈닝이, 모델이 타겟을 해당 이웃에서 유일한 낮은 손실 해결책으로 암기하도록 강제한다는 것입니다. 이 공격은 아키텍처 변경을 필요로 하지 않으며, 중앙 집중식 및 연합 학습(federated learning) 설정에 걸쳐 일반화됩니다. 우리는 이 공격이 언어 모델(최대 100% 추출 성공) 및 비전-언어 모델(최대 90% 추출 성공)에서 프라이버시 유출을 증폭시킴을 입증합니다. 모델이 차등 프라이버시(differentially private)하게 학습될 때 공격이 저지됨을 보여줍니다. 그러나 우리는 손실 지형을 직접 탐색하여 차등 프라이버시 방어조차 우회하는 새로운 공격을 소개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.