적응형 서브 모델 연합 학습에서의 용량 교란 요인과 커버리지 보장
Capacity Confounds and Coverage Guarantees in Adaptive Sub-model Federated Learning
한국어 초록
서브 모델 연합 학습(federated learning)은 자원이 제한된 클라이언트가 글로벌 모델의 너비(width)가 축소된 버전을 학습할 수 있도록 하지만, 기존 방식들은 디바이스 자원만을 기준으로 용량을 할당합니다. 이에 대한 자연스러운 다음 단계로, 학습에서 파생된 신호로 서브 모델 크기를 결정하는 최근 방법들에서 착안하여 서버가 이미 관찰한 업데이트를 통해 추정된 각 클라이언트의 데이터 이질성(data heterogeneity)에 따라 용량을 할당하는 방식을 고려해 볼 수 있습니다. 본 논문에서는 적응형 용량 할당 프레임워크인 HAS-FL을 테스트 케이스로 삼아 이러한 단계가 실현 가능한지 질문을 던집니다. 첫째, 재현 가능한 분할 상에서 실측 라벨 분포 다이버전스(divergence)를 기준으로 검증한 결과, 클라이언트 이질성에 대한 업데이트 다이버전스 추정치는 데이터가 아닌 용량에 지배됩니다. 두 이미지 벤치마크 및 모든 시드에서 이 추정치는 디바이스 용량과 강한 음의 상관관계를 보이며, 용량을 통제하고 나면 데이터 이질성과의 연관성은 0에 가깝거나 음수로 나타납니다. 서브 모델 업데이트로부터 클라이언트 통계량을 추정하는 모든 방법은 이전에 보고되지 않은 이러한 교란(confound)에 노출됩니다. 둘째, 적응형 할당에는 숨겨진 실패 모드가 존재합니다. 모든 클라이언트가 전체 너비 미만으로 제한될 경우, 커버되지 않은 매개변수(parameter)는 무작위 초기화(initialization) 상태로 남아 점진적으로 글로벌 모델을 손상시킵니다. 단순한 커버리지 보장은 이러한 실패를 제거하며 균일 할당이 붕괴하는 이유를 설명합니다. 셋째, 동일 예산 대조군(matched-budget control)을 통해 적응성이 기여하는 바를 명확히 밝힙니다. 동일한 평균 예산에 대한 무작위 할당은 두 이미지 벤치마크에서 시드 간 변동 범위 내로 적응형 정책과 일치하며, 자연 분할된 텍스트 벤치마크에서는 적응형 정책이 가장 많은 용량을 소비하면서도 세 가지 전략 중 가장 낮은 성능을 보입니다. 서브 모델 학습은 이차적으로(quadratically) 감소된 비용으로 제약이 있는 클라이언트를 수용하지만 전체 모델 학습 대비 상당한 정확도 손실을 초래하며, 이러한 정확도를 보호하는 것은 정교한 할당 지능이 아닌 매개변수 커버리지입니다.
원문 초록
Sub-model federated learning lets resource-constrained clients train width-reduced versions of a global model, but existing methods allocate capacity by device resources alone. A natural next step, allocating capacity by each client's data heterogeneity as estimated from the updates the server already observes, is suggested by recent methods that size sub-models from training-derived signals. We ask whether that step is possible, using HAS-FL, an adaptive capacity-allocation framework, as a test case. First, validated against ground-truth label-distribution divergence on reproducible partitions, update-divergence estimates of client heterogeneity are dominated by capacity rather than data: on both image benchmarks and every seed, the estimates correlate strongly and negatively with device capacity, and once capacity is controlled for their association with data heterogeneity is near zero or negative. Any method estimating client statistics from sub-model updates is exposed to this previously undocumented confound. Second, adaptive allocation has a hidden failure mode: when every client is capped below full width, the uncovered parameters stay at random initialization and progressively corrupt the global model. A simple coverage guarantee removes the failure and explains why uniform allocation collapses. Third, a matched-budget control settles what adaptivity contributes: random allocation to the same average budget matches the adaptive policy to within seed-to-seed variation on both image benchmarks, and on the naturally partitioned text benchmark the adaptive policy is the weakest of the three strategies while consuming the most capacity. Sub-model training admits constrained clients at quadratically reduced cost but gives up substantial accuracy relative to full-model training, and what protects that accuracy is parameter coverage rather than allocation intelligence.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.07157v2
- arXiv:2608.07157v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Enhanced Byzantine-Robust Federated Learning Via Truncated-Quadratic Loss for Heterogeneous Data
FedACT: 데이터 이질성 하에서 강건한 트랜스포머 학습을 위한 연합 적응형 좌표 신뢰 변조
FedACT: Federated Adaptive Coordinate Trust Modulation for Robust Transformer Training under Data Heterogeneity
연합 트랜스포머 학습은 점점 더 로컬 AdamW에 의존하고 있으며, 이 방법의 적응형 업데이트는 SGD 기반 학습보다 훨씬 강력한 로컬 진전을 제공할 수 있다. 그러나 이질적인 클라이언트 데이터 환경에서는 전역적으로 보정된 AdamW 업데이트조차 좌표별 신뢰도가 크게 불균일할 수 있다. 우리는 이 현상을 좌표 신뢰 불일치(coordinate trust mismatch)라 칭한다. 기존의 연합 적응형 최적화기는 주로 클라이언트 업데이트 또는 통신 라운드 수준에서 불일치를 해소하지만, 보정된 적응형 방향을 여전히 모든 좌표에 밀도 있고 균일하게 적용한다. 본 논문에서는 연합 AdamW 학습을 위한 전역 인식 좌표 신뢰 변조 방법인 FedACT를 제안한다. FedACT는 먼저 전역적으로 보정된 적응형 방향을 형성한 후, 좌표별 신뢰 점수에 따라 업데이트 크기를 재분배하여 로컬 그래디언트와 전역 보정이 공동으로 지지하는 좌표에는 더 큰 스텝을 할당하고, 나머지 좌표에는 더 작은 비영(non-zero) 업데이트를 유지한다. 연합 비전 트랜스포머, CNN, 대규모 언어 모델(LLM) 사전학습 및 미세조정에 대한 광범위한 실험을 통해 FedACT가 강력한 연합 적응형 기준선들보다 일관되게 향상된 성능을 보이며, 특히 데이터 이질성이 강한 환경에서의 트랜스포머 모델에서 가장 큰 성능 향상을 보임을 확인하였다. 메커니즘 분석을 통해 FedACT가 클라이언트 간 방향 일관성을 개선함을 추가로 확인하였으며, 이는 좌표 수준의 신뢰 할당이 라운드 수준의 전역-로컬 보정을 효과적으로 보완함을 시사한다. 코드는 추후 공개될 예정이다.
FedReLa: 재레이블링을 통한 불균형 연합 학습
FedReLa: Imbalanced Federated Learning via Re-Labeling
연합 학습(Federated learning)은 프라이버시를 보존하면서 분산 모델 학습을 수행하는 가장 주요한 접근법으로 부상했다. 전역적 클래스 불균형과 클라이언트 간 데이터 이질성은 자연스럽게 공존하며, 로컬 불균형과 전역 불균형 간의 불일치는 집계된 모델의 성능 저하를 악화시킨다. 전역 클래스 분포에 대한 무지(agnosticism)는 데이터 수준 방법에 상당한 어려움을 초래하며, 특히 클라이언트 전반에 걸쳐 심각한 클래스 부재가 발생하는 극단적인 조건에서 더욱 그러하다. 본 논문에서는 연합 학습에서 데이터 이질성과 클래스 불균형의 공존 문제를 해결하는 새로운 데이터 수준 접근법인 FedReLa를 제안한다. FedReLa는 특징(feature) 의존적 레이블 재할당기를 통해 샘플을 재레이블링함으로써, 전역 클래스 분포에 대한 지식 없이도 편향된 전역 결정 경계를 교정한다. 이 모듈형의 모델(model) 무관 접근법은 알고리즘적 방법과 통합되어 추가적인 통신 오버헤드 없이 일관된 성능 향상을 제공할 수 있다. 광범위한 실험을 통해, 본 방법은 단계적 불균형(stepwise-imbalanced) 및 롱테일(long-tailed) 데이터셋에서 소수 클래스의 정확도와 전체 정확도를 크게 향상시키며, 이전 최고 성능(state of the art)을 능가함을 입증한다.
FLsim: A Modular and Library-Agnostic Simulation Framework for Federated Learning
Domain Borders Are There to Be Crossed With Federated Few-Shot Adaptation
Geo-ORBIT: A Federated Digital Twin Framework for Scene-Adaptive Lane Geometry Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.