arXiv:2405.19272

Differentially Private Clustered Federated Learning

Saber Malekmohammadi, Afaf Taik, Golnoosh Farnadi

제출 2024-05-29

원문 초록

Federated learning (FL), which is a decentralized machine learning (ML) approach, often incorporates differential privacy (DP) to provide rigorous data privacy guarantees. Previous works attempted to address high structured data heterogeneity in vanilla FL settings through clustering clients (a.k.a clustered FL), but these methods remain sensitive and prone to errors, further exacerbated by the DP noise. This vulnerability makes the previous methods inappropriate for differentially private FL (DPFL) settings with structured data heterogeneity. To address this gap, we propose an algorithm for differentially private clustered FL, which is robust to the DP noise in the system and identifies the underlying clients' clusters correctly. To this end, we propose to cluster clients based on both their model updates and training loss values. Furthermore, for clustering clients' model updates at the end of the first round, our proposed approach addresses the server's uncertainties by employing large batch sizes as well as Gaussian Mixture Models (GMM) to reduce the impact of DP and stochastic noise and avoid potential clustering errors. This idea is efficient especially in privacy-sensitive scenarios with more DP noise. We provide theoretical analysis to justify our approach and evaluate it across diverse data distributions and privacy budgets. Our experimental results show its effectiveness in addressing large structured data heterogeneity in DPFL.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13717v1cs.LG공통 태그 Fairness, Clustering, Federated Learning

연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝

Machine Unlearning for Federated Socially Fair k-Means Clustering

연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.

arXiv:2610.13508v1cs.LG공통 태그 Fairness, Federated Learning

FedPCD: 우선순위 제약 기반 연합 집계

FedPCD: Priority-Constrained Federated Aggregation

연합학습(FL)은 분산된 클라이언트 데이터로부터 공유 글로벌 모델을 최적화하는 것을 목표로 합니다. 이러한 방식은 평균 성능에는 효과적이지만, 특히 통계적으로 이질적인(heterogeneous) 데이터 분포 하에서는 클라이언트 간에 불공정한 성능을 초래할 수 있습니다. 기존의 공정성 인식 및 다중 목적 연합학습 방법들은 클라이언트 재가중치 부여(re-weighting), 그래디언트(gradient) 보정, 또는 공통 하강(common-descent) 정식화를 통해 이를 다루지만, 종종 글로벌 최적화 방향을 변경하거나 클라이언트의 목적을 대칭적으로 취급합니다. 본 논문에서는 글로벌 최적화 목적과 클라이언트 보호를 분리하는 우선순위 제약 연합 최적화 프레임워크인 FedPCD를 제안합니다. FedPCD는 기존의 연합 집계를 기본(primary) 목적으로 보존하면서, 클라이언트 성능 제약을 충족하는 데 필요한 최소한의 보정만을 허용합니다. 이질적인 연합학습 벤치마크 전반에서 FedPCD는 최신(SOTA) 베이스라인들을 일관되게 능가하여 모든 구성에서 가장 높은 글로벌 정확도를 달성하고 거의 모든 구성에서 하위 10% 클라이언트 정확도를 선도했습니다. 나아가 FedPCD는 글로벌 정확도와 클라이언트 성능 변동성 사이에서 경쟁력 있는 트레이드오프를 유지합니다. 이러한 트레이드오프를 넘어, FedPCD는 훨씬 적은 통신 라운드로 동등하거나 우수한 성능에 도달하며 더 빠른 실증적 수렴을 입증합니다.

arXiv:2607.21647v1cs.LG공통 태그 Fairness, Federated Learning

지능형 서비스를 위한 드리프트 안정 양자 연합 학습

A Drift Stable Quantum Federated Learning for Intelligent Services

양자 연합 학습(quantum federated learning)은 분산 클라이언트가 로컬 데이터를 공유하지 않고 양자 신경망(quantum neural networks)을 학습할 수 있게 하며, 이는 프라이버시를 고려한 지능형 서비스에 유망한 접근법이다. 이 맥락에서 지능형 서비스는 사기 탐지와 유전체 분류와 같이 프라이버시에 민감한 분산 의사결정 시스템을 가리키며, 여기서는 신뢰할 수 있고 공정한 클라이언트 수준 학습이 집계 모델의 정확도만큼 중요하다. 그러나 이질적인 클라이언트 데이터와 노이즈가 많은 양자 최적화(optimization)는 종종 불안정한 로컬 업데이트, 클라이언트 드리프트(client drift), 그리고 클라이언트 간 불공정한 성능을 야기한다. 본 논문은 deep-unfolded 로컬 최적화에 기반한 드리프트 안정 양자 연합 학습 프레임워크인 DUQFL-Prox를 제안한다. 고정된 로컬 옵티마이저를 사용하는 대신, 각 클라이언트는 적응형 unfolded SPSA 업데이트를 수행하며, proximal term은 로컬 모델을 글로벌 모델에 가깝게 유지한다. 경량 컨트롤러는 집계 후 성능을 개선하기 위해 단계별 최적화 매개변수를 학습한다. 금융 사기 탐지 및 유전체 분류 작업에 대한 실험은 DUQFL-Prox가 표준 QFL(양자 연합 학습) 베이스라인 대비 안정성, 일반화, 클라이언트 공정성을 개선함을 보여준다. 결과는 deep-unfolded 양자 연합 학습이 이질적인 분산 환경에서 더 신뢰할 수 있고 공정한 지능형 서비스를 지원할 수 있음을 시사한다.

arXiv:2607.20722v1cs.CL공통 태그 Fairness, Clustering

REGARD: 대규모 언어 모델의 지역별 정서 차이

REGARD: Regional Affective Differences in Large Language Models

서로 다른 언어적·지역적 생태계에서 학습되고 정렬(alignment)된 대규모 언어 모델(LLM)은 동일한 정치적, 문화적, 지정학적 대상을 서로 다른 방식으로 프레이밍할 수 있다. 이러한 차이는 종종 감성(sentiment), 호감도(favorability), 또는 입장(stance)을 통해 평가되며, 모델의 태도를 단일한 긍정-부정 축으로 축소한다. 우리는 REGARD를 소개한다. 이는 목표 지향 Valence-Arousal-Dominance(VAD) 프로파일링을 사용하여 소련 이후(post-Soviet) 대상에 대한 LLM 간 정서적 프레이밍 차이를 유발하는 요인을 연구한다. 19개 모델에 500개의 지역별 대상을 질의하고, GPT-4o-mini와 Qwen3.6-35B-A3B라는 두 독립 LLM 심판으로 응답을 채점하며, 300개 항목의 인간 주석 부분집합에서 측정값을 검증한다. 정서 및 응답 행동 프로파일에 기반한 19개 모델 전체의 사후 Ward-linkage 클러스터링은 모델 출처, 계열(family), 매개변수(parameter) 수를 가로지르는 세 가지 행동 클러스터를 산출한다. 일반적 답변(generic-answer) 비율은 낮은 각성(arousal)과 강하게 연관되어 있다(r = -0.81). 클러스터 배치와도 연관된다. 평가적 프롬프트를 템플릿화된 응답으로 회피하는 모델은 출처와 관계없이 낮은 각성에서 함께 클러스터링된다. 이러한 결과는 VAD 프로파일링이 감성 기반의 기존 평가에서는 대체로 드러나지 않는 정서적 프레이밍의 한 차원인 정서적 강도(emotional intensity)를 포착함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.