인센티브와 절단 층 선택이 분할 연합 학습에서 데이터 기여에 어떻게 영향을 미치는가
How Can Incentives and Cut Layer Selection Influence Data Contribution in Split Federated Learning?
한국어 초록
연합 학습에서 학습 부담을 완화하면서 수렴 속도를 높이기 위해, 연합 학습과 분할 학습(split learning)의 장점을 결합한 분할 연합 학습(SFL)이 유망한 접근으로 부상했다. 그러나 최근 연구들은 경쟁적 상황을 대체로 간과해 왔다. 이 프레임워크에서 SFL 모델 소유자는 서버와 클라이언트 간 학습 부하를 균형 있게 하고 클라이언트에게 필요한 수준의 프라이버시를 보장하기 위해 절단 층을 선택할 수 있다. 또한 SFL 모델 소유자는 SFL 과정에 클라이언트 참여를 유도하기 위해 인센티브를 설정한다. SFL 모델 소유자가 사용하는 최적화 전략은 클라이언트 간 공유되는 인센티브와 SFL 중 예상되는 에너지 소비를 고려하여, 클라이언트가 기여하는 데이터량에 관한 클라이언트의 결정에 영향을 미친다. 이 프레임워크를 다루기 위해 우리는 단일 리더·다중 추종자 Stackelberg 게임으로 공식화된 계층적 의사결정 접근을 사용하여 문제를 모델링한다. 우리는 클라이언트 간 Nash 균형의 존재와 유일성을 보이고, 리더의 게임을 검토하여 Stackelberg 균형을 분석한다. 또한 차등 프라이버시(differential privacy)와 관련된 프라이버시 우려와 최소 필요 절단 층을 선택하기 위한 기준을 논의한다. 우리의 결과는 Stackelberg 균형 해가 클라이언트와 SFL 모델 소유자 모두의 효용을 극대화함을 보여준다.
원문 초록
To alleviate the training burden in federated learning while enhancing convergence speed, Split Federated Learning (SFL) has emerged as a promising approach by combining the advantages of federated and split learning. However, recent studies have largely overlooked competitive situations. In this framework, the SFL model owner can choose the cut layer to balance the training load between the server and clients, ensuring the necessary level of privacy for the clients. Additionally, the SFL model owner sets incentives to encourage client participation in the SFL process. The optimization strategies employed by the SFL model owner influence clients' decisions regarding the amount of data they contribute, taking into account the shared incentives over clients and anticipated energy consumption during SFL. To address this framework, we model the problem using a hierarchical decision-making approach, formulated as a single-leader multi-follower Stackelberg game. We demonstrate the existence and uniqueness of the Nash equilibrium among clients and analyze the Stackelberg equilibrium by examining the leader's game. Furthermore, we discuss privacy concerns related to differential privacy and the criteria for selecting the minimum required cut layer. Our findings show that the Stackelberg equilibrium solution maximizes the utility for both the clients and the SFL model owner.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2412.07813v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
Geo-ORBIT: A Federated Digital Twin Framework for Scene-Adaptive Lane Geometry Detection
Prototype-Guided and Lightweight Adapters for Inherent Interpretation and Generalisation in Federated Learning
FedPall: Prototype-based Adversarial and Collaborative Learning for Federated Learning with Feature Drift
BackFed: An Efficient & Standardized Benchmark Suite for Backdoor Attacks in Federated Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.