Class-Grouped Normalized Momentum and Faster Hyperparameter Exploration to Tackle Class Imbalance in Federated Learning
원문 초록
Class imbalance poses a critical challenge in federated learning (FL), where underrepresented classes suffer from poor predictive performance yet cannot be addressed by standard centralized techniques due to privacy and heterogeneity constraints. We propose FedCGNM (Federated Class-Grouped Normalized Momentum), a client-side optimizer in FL that partitions classes into a small number of groups based on minimum within-group variance, maintains a momentum per group, normalizes each group momentum to unit length, and uses the summation of the normalized group momentums as an update direction. This design both equalizes gradient magnitude across majority and minority groups and mitigates the noise inherent in rare-class gradients. We further provide a theoretical convergence analysis explicitly accounting for time-varying resampling-rates. Additionally, to efficiently optimize these rates in small-client regimes, we introduce FedHOO, an X-armed-bandit (XAB) based algorithm that exploits federated parallelism that evaluates many combinations of two candidate rates per client at linear cost. Empirical evaluation on four public long-tailed benchmarks and a proprietary chip-defect dataset demonstrates that FedCGNM consistently outperforms baselines, with FedHOO yielding further gains in small-scale federations.
요약
연합학습(FL) 환경에서의 클래스 불균형 문제를 해결하기 위해, 클래스를 분산 기반으로 소수의 그룹으로 묶어 그룹별 모멘텀을 단위 벡터로 정규화하는 클라이언트 측 옵티마이저 FedCGNM을 제안한다. 또한 소규모 연합 환경에서 리샘플링 비율을 효율적으로 탐색하는 X-armed bandit 기반 알고리즘 FedHOO를 도입하여, 4개의 공개 long-tail 벤치마크와 반도체 칩 불량 데이터셋에서 기존 대비 최대 29% 성능 향상을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01474v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FedPCD: 우선순위 제약 기반 연합 집계
FedPCD: Priority-Constrained Federated Aggregation
연합학습(FL)은 분산된 클라이언트 데이터로부터 공유 글로벌 모델을 최적화하는 것을 목표로 합니다. 이러한 방식은 평균 성능에는 효과적이지만, 특히 통계적으로 이질적인(heterogeneous) 데이터 분포 하에서는 클라이언트 간에 불공정한 성능을 초래할 수 있습니다. 기존의 공정성 인식 및 다중 목적 연합학습 방법들은 클라이언트 재가중치 부여(re-weighting), 그래디언트(gradient) 보정, 또는 공통 하강(common-descent) 정식화를 통해 이를 다루지만, 종종 글로벌 최적화 방향을 변경하거나 클라이언트의 목적을 대칭적으로 취급합니다. 본 논문에서는 글로벌 최적화 목적과 클라이언트 보호를 분리하는 우선순위 제약 연합 최적화 프레임워크인 FedPCD를 제안합니다. FedPCD는 기존의 연합 집계를 기본(primary) 목적으로 보존하면서, 클라이언트 성능 제약을 충족하는 데 필요한 최소한의 보정만을 허용합니다. 이질적인 연합학습 벤치마크 전반에서 FedPCD는 최신(SOTA) 베이스라인들을 일관되게 능가하여 모든 구성에서 가장 높은 글로벌 정확도를 달성하고 거의 모든 구성에서 하위 10% 클라이언트 정확도를 선도했습니다. 나아가 FedPCD는 글로벌 정확도와 클라이언트 성능 변동성 사이에서 경쟁력 있는 트레이드오프를 유지합니다. 이러한 트레이드오프를 넘어, FedPCD는 훨씬 적은 통신 라운드로 동등하거나 우수한 성능에 도달하며 더 빠른 실증적 수렴을 입증합니다.
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
연합 사회적 공정 k-평균 군집화를 위한 머신 언러닝
Machine Unlearning for Federated Socially Fair k-Means Clustering
연합 군집화(federated clustering)는 여러 병원에 걸친 환자 층화(patient stratification) 및 분산된 금융 데이터셋 전반의 고객 세분화와 같은 응용 분야를 지원할 수 있습니다. 책임감 있는 인공지능(Responsible AI)은 인구통계학적 집단의 공정한 대표성을 보장하고, GDPR의 잊힐 권리(right to erasure)와 같은 권리에서 비롯된 데이터 삭제 지원을 요구합니다. 이러한 목표들은 상호작용합니다. 즉, 레코드를 삭제하면 집단 간의 균형이 바뀌고 남아 있는 모집단의 군집화 결과가 변경될 수 있습니다. 본 연구에서는 가장 가까운 중심점까지의 최대 집단 평균 제곱 거리를 최소화하는 것을 목표로 하는 연합 사회적 공정 $k$-평균($k$-means)에 대한 정확한 머신 언러닝(exact machine unlearning)을 연구합니다. 본 접근법은 각 집단별로 독립된 로컬 요약(summary)을 유지하므로, 글로벌 공정성 가중치가 변경되더라도 영향을 받지 않은 기관의 요약은 유효하게 유지됩니다. 두 집단의 경우, 이상적인 샘플링 하에서 클라이언트 집단 비율과 무관한 초기화(initialization) 근사 보장을 증명하며, 동일 시드 재생(same-seed replay)이 재학습을 정확히 재현함을 보입니다. 재사용의 이점은 전체 클라이언트가 탈퇴할 때 가장 두드러집니다. 3개의 데이터셋에 걸쳐 재생 방식은 초기화 전용 모델(model)에 대해 재학습보다 $35.8\times$ 더 빠르며, 최악 집단 비용을 개선하는 1회 및 2회의 공정 정제 라운드 적용 시에도 각각 $2.4\times$ 및 $1.7\times$ 더 빠른 속도를 유지합니다. 개별 레코드 삭제의 경우 성능 향상은 약 $1.06\times$로 미미하며, 캐시된 할당을 검증하는 비용이 절감되는 비용보다 더 클 수 있습니다. 이러한 결과는 정확한 언러닝이 계산을 유익하게 재사용할 수 있는 영역을 보여줍니다. 코드 및 재현성 자료는 https://github.com/arareddy/mufsc 에서 확인할 수 있습니다.
사후 처리 공정성 제약이 도움이 될 때와 해가 될 때: 8개 교차 도메인 평가로부터의 근거
When Post-Processing Fairness Constraints Help and When They Harm: Evidence from Eight Cross-Domain Evaluations
프로덕션 ML에서 공정성 감사는 보통 배포 시점에 한 번, 단일 도메인에 대해서만 수행된다. 실제로는 둘 다 한계가 있다. 재학습이나 사용자층 변화 이후 공정성이 달라질 수 있고, 한 데이터셋에서 검증된 개입은 조직이 배포하는 이질적 도메인 전반에서 거의 검증되지 않는다. 우리는 FAPE(Fairness Auditing for Production Environments)를 제시한다. 이는 Fairlearn의 ThresholdOptimizer라는 단일 사후 처리 개입을 8가지 도메인 평가—형사 사법, 소득 예측, 법학 입학, 신용 대출, 농업 대출, 다중 도메인 벤치마크 코퍼스, 의료, 교육—에서 평가하는 4단계 프레임워크이다. 각 평가는 인구통계적 균등(demographic parity)과 균등 오즈(equalized odds) 차이, 그리고 계산 가능한 경우 차등 영향 비율(disparate impact ratio)과 정확도 비용으로 채점된다. 개입 효과는 기준선 불균형의 크기를 따른다. 모델-도메인 쌍 전반에서 제약은 불균형이 큰 14건 중 9건에서 불균형을 개선했고, 거의 공정한 4건 중 3건에서는 악화시켰다. 불균형이 큰 예외 5건 각각은 최소 집단 크기 또는 홀드아웃 데이터에 맞춘 임계값이라는 두 측정 점검 중 하나에서 결과가 뒤집힌다. 배포 시 시작한 CUSUM 모니터를 시뮬레이션된 분포 변화에 대해 검증한 결과, 0.1 parity 관례를 한 번도 충족하지 못한 제약 모델과 충족했다가 이후 퇴행한 모델을 구분한다. 따라서 배포 시점의 단일 감사는 신뢰할 수 있는 지표가 아니며, 이는 기준선 불균형 스크리닝과 지속적 모니터링을 뒷받침한다.
임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.
ZO-COSMO: 분산 제로차 최적화를 위한 인덱스 없는 원홉(one-hop) 혼합
ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization
분산 제로차 학습에서 희소 통신은 호환 가능한 피어 상태 좌표(peer-state coordinates)를 요구한다. 우리는 이 원홉(one-hop) 조건을 특성화하고, 활성 링크당 $q$개 값을 사용하는 평균 보존 마스크 합의(average-preserving masked consensus)와 이중 쿼리 추정(two-query estimation)을 결합한 \textsf{ZO-COSMO}를 제안한다. 전역 지원(global supports)은 전 이웃 혼합(all-neighbor mixing)에 사용되며, 매칭 업데이트(matching updates)는 각 쌍 내에서만 합의를 요구한다. 매칭 클래스 내에서 날카로운 스칼라당 수축(contraction-per-scalar) 상계를 유도하고, 핵심 및 희소-모멘텀(sparse-momentum) 업데이트에 대한 수렴 보장을 제공한다. 고정된 매칭에서 정확한 모멘트 항등식(moment identities)은 공유 방향이 그래디언트 이질성(gradient-heterogeneity) 상쇄를 어떻게 보존하고 추정 오차와 불일치(disagreement)를 재분배하는지를 특성화한다. 메커니즘 실험은 불균등 곡률, 노이즈, 희소 모멘텀을 다룬다. 추가 실험은 $64$개의 합성 에이전트와 8개의 논리적 Qwen LoRA 워커를 포함한다. 동일한 페이로드 예산에서 Qwen2-7B QNLI는 explicit-index Rand-$k$ 대비 $3.65$ 정확도 포인트를 얻으며, 8-워커 완전 그래프와 링 그래프에서 edge-local 업데이트는 전 이웃 혼합 대비 각각 $3.42$ 및 $2.53$ 포인트를 얻는다. 매칭-first-step 소거(ablation)는 $3.92$ 포인트의 모멘텀 이득을 보여준다. 시드 인식(seed-aware) 및 동일-매칭(same-matching) 대조는 인코딩, 스케줄링, 쿼리 상관(query correlation)을 구분한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.