FedADMM-InSa: 연합 학습을 위한 비정확 자기 적응형 ADMM
FedADMM-InSa: An Inexact and Self-Adaptive ADMM for Federated Learning
한국어 초록
연합 학습(FL)은 프라이버시를 유지하면서 분산 데이터로부터 학습하는 유망한 프레임워크이다. 효율적인 FL 알고리즘의 개발은 이질적인 데이터와 시스템, 제한된 통신 용량, 제약된 로컬 계산 자원 등 여러 도전 과제에 직면한다. 최근 개발된 FedADMM 방법은 데이터와 시스템의 이질성 모두에 대해 높은 강건성을 보인다. 그러나 하이퍼파라미터를 신중하게 조정하지 않으면 여전히 성능 저하를 겪는다. 이 문제를 해결하기 위해 우리는 비정확 자기 적응형 FedADMM 알고리즘인 FedADMM-InSa를 제안한다. 먼저, 로컬 학습 정확도를 경험적으로 설정할 필요가 없도록 클라이언트의 로컬 업데이트에 대한 비정확성 기준을 설계한다. 이 비정확성 기준은 각 클라이언트가 자신의 고유한 조건에 따라 독립적으로 평가할 수 있으므로, 로컬 계산 비용을 줄이고 바람직하지 않은 낙오자(straggler) 효과를 완화한다. 그 결과로 얻은 비정확 ADMM의 수렴성은 강볼록 손실 함수를 가정하여 증명된다. 또한 각 클라이언트의 페널티 매개변수를 동적으로 조정하는 자기 적응 기법을 제시하여, 클라이언트별 페널티 매개변수를 경험적으로 선택할 필요를 줄임으로써 알고리즘의 강건성을 높인다. 합성 및 실제 데이터셋에 대해 폭넓은 수치 실험을 수행하였다. 수치 실험으로 검증된 바와 같이, 제안한 알고리즘은 기본 FedADMM에 비해 클라이언트의 로컬 계산 부하를 크게 줄이고 학습 과정도 가속할 수 있다. 소스 코드는 https://github.com/DCN-FAU-AvH/FedADMM-InSa 에서 확인할 수 있다.
원문 초록
Federated learning (FL) is a promising framework for learning from distributed data while maintaining privacy. The development of efficient FL algorithms encounters various challenges, including heterogeneous data and systems, limited communication capacities, and constrained local computational resources. Recently developed FedADMM methods show great resilience to both data and system heterogeneity. However, they still suffer from performance deterioration if the hyperparameters are not carefully tuned. To address this issue, we propose an inexact and self-adaptive FedADMM algorithm, termed FedADMM-InSa. First, we design an inexactness criterion for the clients' local updates to eliminate the need for empirically setting the local training accuracy. This inexactness criterion can be assessed by each client independently based on its unique condition, thereby reducing the local computational cost and mitigating the undesirable straggle effect. The convergence of the resulting inexact ADMM is proved under the assumption of strongly convex loss functions. Additionally, we present a self-adaptive scheme that dynamically adjusts each client's penalty parameter, enhancing algorithm robustness by mitigating the need for empirical penalty parameter choices for each client. Extensive numerical experiments on both synthetic and real-world datasets are conducted. As validated by some numerical tests, our proposed algorithm can reduce the clients' local computational load significantly and also accelerate the learning process compared to the vanilla FedADMM. The source code is available at https://github.com/DCN-FAU-AvH/FedADMM-InSa.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2402.13989v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
Geo-ORBIT: A Federated Digital Twin Framework for Scene-Adaptive Lane Geometry Detection
Prototype-Guided and Lightweight Adapters for Inherent Interpretation and Generalisation in Federated Learning
FedPall: Prototype-based Adversarial and Collaborative Learning for Federated Learning with Feature Drift
BackFed: An Efficient & Standardized Benchmark Suite for Backdoor Attacks in Federated Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.