Federated Learning on Adaptively Weighted Nodes by Bilevel Optimization
원문 초록
We propose a federated learning method with weighted nodes in which the weights can be modified to optimize the model's performance on a separate validation set. The problem is formulated as a bilevel optimization where the inner problem is a federated learning problem with weighted nodes and the outer problem focuses on optimizing the weights based on the validation performance of the model returned from the inner problem. A communication-efficient federated optimization algorithm is designed to solve this bilevel optimization problem. Under an error-bound assumption, we analyze the generalization performance of the output model and identify scenarios when our method is in theory superior to training a model only locally and to federated learning with static and evenly distributed weights.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연합 이중 수준 수행적 예측
Federated Bilevel Performative Prediction
연합 이중 수준 최적화는 프라이버시 및 통신 제약 하에서 연합 하이퍼파라미터 튜닝 및 메타학습과 같은 분산 클라이언트에 걸친 중첩된 학습 문제에 널리 사용됩니다. 대부분의 기존 정식화는 고정된 클라이언트 데이터 분포를 가정하지만, 이는 수행성(Performativity)에 의해 위반될 수 있습니다. 수행성이란 배포된 의사결정이 클라이언트 행동과 데이터 수집을 재형성하여, 클라이언트별 의사결정 종속 분포 변화를 유발하는 현상입니다. 우리는 상위 수준(UL) 및 하위 수준(LL) 목적 함수가 모두 클라이언트 종속 및 의사결정 종속 분포 하에서 평가되는 연합 이중 수준 수행적 예측을 연구합니다. 우리는 분리된 위험(decoupled-risk) 관점 하에서 연합 이중 수준 수행적 안정점(FBPS)을 형식화하고, 그 존재성과 유일성에 대한 충분 조건을 제공합니다. 그 후 우리는 FBPS 해를 계산하기 위한 두 가지 연합 방법을 개발했습니다: 수축 조건 하에서 선형 수렴하는 FBi-RRM과, 민감도가 충분히 작을 때 점감하는 스텝 사이즈 하에서 수렴이 보장되는 연합 하이퍼그라디언트 추정에 기반한 통신 효율적인 확률적 방법인 FBi-SGD입니다. 전략적 회귀 및 메타 전략적 분류에 대한 실험은 예측된 안정성 임계값을 검증하고 비수행적(non-performative) 기준선 대비 향상된 메타 일반화를 입증합니다. 또한 CNN 기반 분류는 비볼록 신경망 설정에서 제안된 방법들의 실질적 효과를 추가로 보여줍니다.
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
Geo-ORBIT: A Federated Digital Twin Framework for Scene-Adaptive Lane Geometry Detection
Prototype-Guided and Lightweight Adapters for Inherent Interpretation and Generalisation in Federated Learning
FedPall: Prototype-based Adversarial and Collaborative Learning for Federated Learning with Feature Drift
토론
이 논문과 연결된 포럼 글이 아직 없습니다.