FLIPS: Federated Learning using Intelligent Participant Selection
원문 초록
This paper presents the design and implementation of FLIPS, a middleware system to manage data and participant heterogeneity in federated learning (FL) training workloads. In particular, we examine the benefits of label distribution clustering on participant selection in federated learning. FLIPS clusters parties involved in an FL training job based on the label distribution of their data apriori, and during FL training, ensures that each cluster is equitably represented in the participants selected. FLIPS can support the most common FL algorithms, including FedAvg, FedProx, FedDyn, FedOpt and FedYogi. To manage platform heterogeneity and dynamic resource availability, FLIPS incorporates a straggler management mechanism to handle changing capacities in distributed, smart community applications. Privacy of label distributions, clustering and participant selection is ensured through a trusted execution environment (TEE). Our comprehensive empirical evaluation compares FLIPS with random participant selection, as well as three other "smart" selection mechanisms - Oort, TiFL and gradient clustering using two real-world datasets, two benchmark datasets, two different non-IID distributions and three common FL algorithms (FedYogi, FedProx and FedAvg). We demonstrate that FLIPS significantly improves convergence, achieving higher accuracy by 17 - 20 % with 20 - 60 % lower communication costs, and these benefits endure in the presence of straggler participants.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝
Machine Unlearning for Federated Socially Fair k-Means Clustering
연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
목표 기반 변형 범주화
Goal-driven Variant Categorization
프로세스 발견(process discovery)은 드물게 단일의 일관된 프로세스 구조를 산출한다. 분석을 위해 일반적인 단계는 구조적 유사성에 기반하여 프로세스 변형을 클러스터링한 뒤, 그렇게 얻은 그룹에 비즈니스적 의미를 부여하는 것이다. 이러한 분할은 조직의 목표에서 도출된 것이 아니므로, 분석가는 변형을 수동으로 해석하고 비즈니스적으로 의미 있는 범주로 통합해야 한다. 변형의 수와 복잡성이 커질수록 이 판단 집약적 단계는 점점 더 어려워진다. 본 논문에서는 이러한 워크플로를 뒤집는 목표 기반 변형 범주화 접근법을 제안한다. 먼저 범주화 축을 사전에 정의하는 조직의 목표 모델(goal model)을 작성한다. 각 변형은 그 동작을 설명하는 텍스트 서술로 변환되고, 대규모 언어 모델(LLM)이 목표 모델의 맥락에서 이를 해석하여 변형을 가장 적절한 범주에 할당한다. LLM 기반 의미론적 추론은 저수준 프로세스 동작과 분석가가 정의한 비즈니스 목표를 연결한다. 이 접근법을 종단(end-to-end)으로 구현하고, 규모와 행동 다양성에서 실질적으로 다른 세 개의 공개 로그에 대해 평가한다. 목표 모델 가이던스는 무방향 귀납(unguided induction)으로 생성된 분할과 다른 분할을 산출하며, 선언된 대안에 대한 통제된 수정에 반응하지만, 목표 모델을 작성해야 한다는 비용이 따른다.
Fed-RAC: Resource-Aware Clustering for Tackling Heterogeneity of Participants in Federated Learning
Congruent Learning for Self-Regulated Federated Learning in 6G
Federated Intelligence for Active Queue Management in Inter-Domain Congestion
Solving non-uniqueness in agglomerative hierarchical clustering using multidendrograms
토론
이 논문과 연결된 포럼 글이 아직 없습니다.