FLock: Defending Malicious Behaviors in Federated Learning with Blockchain
원문 초록
Federated learning (FL) is a promising way to allow multiple data owners (clients) to collaboratively train machine learning models without compromising data privacy. Yet, existing FL solutions usually rely on a centralized aggregator for model weight aggregation, while assuming clients are honest. Even if data privacy can still be preserved, the problem of single-point failure and data poisoning attack from malicious clients remains unresolved. To tackle this challenge, we propose to use distributed ledger technology (DLT) to achieve FLock, a secure and reliable decentralized Federated Learning system built on blockchain. To guarantee model quality, we design a novel peer-to-peer (P2P) review and reward/slash mechanism to detect and deter malicious clients, powered by on-chain smart contracts. The reward/slash mechanism, in addition, serves as incentives for participants to honestly upload and review model parameters in the FLock system. FLock thus improves the performance and the robustness of FL systems in a fully P2P manner.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
손실 지형 포이즈닝: LLM에서 미관측 학습 데이터의 타겟 추출
Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs
대규모 언어 모델(LLM)은 점점 더 독점적이거나 민감한 데이터, 즉 개인 의료 및 금융 기록부터 비밀을 포함한 사용자 대화까지 다양한 데이터로 학습되고 있습니다. 추출 공격으로부터 이러한 데이터의 프라이버시를 보장하는 것은 중요한 관심사가 되었습니다. 본 논문에서는 학습 데이터의 일부를 포이즈닝(poisoning)할 수 있는 공격자가 접근 권한이 없는 별도의 타겟 레코드 유출을 용이하게 할 수 있는지 질문합니다. 우리는 긍정적으로 답하며, 이러한 유출이 타겟 완성 주변의 모델 지역 손실 지형(local loss landscape)을 재구성하는 포이즈닝 메커니즘을 통해 유도될 수 있음을 보여줍니다. 핵심 통찰은 타겟에서 날카로운 손실 최솟값을 생성하고 인접한 대안들에서 높은 손실을 둘러싸게 하는 포이즈닝이, 모델이 타겟을 해당 이웃에서 유일한 낮은 손실 해결책으로 암기하도록 강제한다는 것입니다. 이 공격은 아키텍처 변경을 필요로 하지 않으며, 중앙 집중식 및 연합 학습(federated learning) 설정에 걸쳐 일반화됩니다. 우리는 이 공격이 언어 모델(최대 100% 추출 성공) 및 비전-언어 모델(최대 90% 추출 성공)에서 프라이버시 유출을 증폭시킴을 입증합니다. 모델이 차등 프라이버시(differentially private)하게 학습될 때 공격이 저지됨을 보여줍니다. 그러나 우리는 손실 지형을 직접 탐색하여 차등 프라이버시 방어조차 우회하는 새로운 공격을 소개합니다.
Self-Adaptive and Robust Federated Spectrum Sensing without Benign Majority for Cellular Networks
A Bayesian Incentive Mechanism for Poison-Resilient Federated Learning
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
Geo-ORBIT: A Federated Digital Twin Framework for Scene-Adaptive Lane Geometry Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.