arXiv:2207.10751

Federated Learning on Adaptively Weighted Nodes by Bilevel Optimization

Yankun Huang, Qihang Lin, Nick Street, Stephen Baek

제출 2022-07-21

원문 초록

We propose a federated learning method with weighted nodes in which the weights can be modified to optimize the model's performance on a separate validation set. The problem is formulated as a bilevel optimization where the inner problem is a federated learning problem with weighted nodes and the outer problem focuses on optimizing the weights based on the validation performance of the model returned from the inner problem. A communication-efficient federated optimization algorithm is designed to solve this bilevel optimization problem. Under an error-bound assumption, we analyze the generalization performance of the output model and identify scenarios when our method is in theory superior to training a model only locally and to federated learning with static and evenly distributed weights.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.19734v1cs.LG공통 태그 Bilevel Optimization, Federated Learning

연합 이중 수준 수행적 예측

Federated Bilevel Performative Prediction

연합 이중 수준 최적화는 프라이버시 및 통신 제약 하에서 연합 하이퍼파라미터 튜닝 및 메타학습과 같은 분산 클라이언트에 걸친 중첩된 학습 문제에 널리 사용됩니다. 대부분의 기존 정식화는 고정된 클라이언트 데이터 분포를 가정하지만, 이는 수행성(Performativity)에 의해 위반될 수 있습니다. 수행성이란 배포된 의사결정이 클라이언트 행동과 데이터 수집을 재형성하여, 클라이언트별 의사결정 종속 분포 변화를 유발하는 현상입니다. 우리는 상위 수준(UL) 및 하위 수준(LL) 목적 함수가 모두 클라이언트 종속 및 의사결정 종속 분포 하에서 평가되는 연합 이중 수준 수행적 예측을 연구합니다. 우리는 분리된 위험(decoupled-risk) 관점 하에서 연합 이중 수준 수행적 안정점(FBPS)을 형식화하고, 그 존재성과 유일성에 대한 충분 조건을 제공합니다. 그 후 우리는 FBPS 해를 계산하기 위한 두 가지 연합 방법을 개발했습니다: 수축 조건 하에서 선형 수렴하는 FBi-RRM과, 민감도가 충분히 작을 때 점감하는 스텝 사이즈 하에서 수렴이 보장되는 연합 하이퍼그라디언트 추정에 기반한 통신 효율적인 확률적 방법인 FBi-SGD입니다. 전략적 회귀 및 메타 전략적 분류에 대한 실험은 예측된 안정성 임계값을 검증하고 비수행적(non-performative) 기준선 대비 향상된 메타 일반화를 입증합니다. 또한 CNN 기반 분류는 비볼록 신경망 설정에서 제안된 방법들의 실질적 효과를 추가로 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.