프라이버시와 유용성의 균형을 맞추기 위한 이론적으로 입증된 연합학습
Theoretically Principled Federated Learning for Balancing Privacy and Utility
한국어 초록
본 논문에서는 모델(model) 매개변수(parameter)를 왜곡하여 프라이버시를 보호하는 보호 메커니즘을 위한 일반적인 학습 프레임워크를 제안하며, 이는 프라이버시와 유용성(utility) 사이의 트레이드오프(trade-off)를 용이하게 합니다. 제안하는 알고리즘은 왜곡을 실수값으로 매핑하는 임의의 프라이버시 측정 방식에 적용할 수 있습니다. 또한 연합학습(federated learning)에서 각 통신 라운드마다 각 클라이언트의 각 모델 매개변수에 대해 개인화된 유용성-프라이버시 트레이드오프를 달성할 수 있습니다. 이러한 적응적이고 세밀한 보호는 프라이버시가 보존된 연합학습의 효과를 향상시킬 수 있습니다. 이론적으로, 본 알고리즘이 출력하는 보호 하이퍼파라미터(hyperparameter)의 유용성 손실(loss)과 최적 보호 하이퍼파라미터의 유용성 손실 간의 격차가 전체 반복 횟수에 대해 서브리니어(sub-linear)함을 보입니다. 본 알고리즘의 서브리니어성은 반복 횟수가 무한대로 갈 때 본 알고리즘의 성능과 최적 성능 간의 평균 격차가 0으로 수렴(convergence)함을 나타냅니다. 나아가, 제안하는 알고리즘의 수렴 속도를 제공합니다. 벤치마크(benchmark) 데이터셋에 대한 실증적 실험을 수행하여 동일한 프라이버시 예산 하에서 제안 기법이 기준선(baseline) 방법들보다 더 나은 유용성을 달성함을 검증합니다.
원문 초록
We propose a general learning framework for the protection mechanisms that protects privacy via distorting model parameters, which facilitates the trade-off between privacy and utility. The algorithm is applicable to arbitrary privacy measurements that maps from the distortion to a real value. It can achieve personalized utility-privacy trade-off for each model parameter, on each client, at each communication round in federated learning. Such adaptive and fine-grained protection can improve the effectiveness of privacy-preserved federated learning. Theoretically, we show that gap between the utility loss of the protection hyperparameter output by our algorithm and that of the optimal protection hyperparameter is sub-linear in the total number of iterations. The sublinearity of our algorithm indicates that the average gap between the performance of our algorithm and that of the optimal performance goes to zero when the number of iterations goes to infinity. Further, we provide the convergence rate of our proposed algorithm. We conduct empirical results on benchmark datasets to verify that our method achieves better utility than the baseline methods under the same privacy budget.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2305.15148v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
Geo-ORBIT: A Federated Digital Twin Framework for Scene-Adaptive Lane Geometry Detection
Prototype-Guided and Lightweight Adapters for Inherent Interpretation and Generalisation in Federated Learning
FedPall: Prototype-based Adversarial and Collaborative Learning for Federated Learning with Feature Drift
BackFed: An Efficient & Standardized Benchmark Suite for Backdoor Attacks in Federated Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.