그라디언트 클리핑은 분산 및 연합 비동기 확률적 경사하강법(SGD)을 낙오자(stragglers)에 대해 강건하게 만든다
Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers
한국어 초록
현대 기계 학습에서 학습의 병렬화는 규모를 확장하기 위한 중요한 전략입니다. 비동기 확률적 경사하강법(ASGD)은 느린 워커를 기다리는 것을 피함으로써 사용 가능한 하드웨어의 활용도를 극대화합니다. 그러나 고정된 스텝 크기를 사용하는 경우, 업데이트의 큰 지연으로 인해 ASGD의 수렴은 여전히 느린 워커에 의해 부정적인 영향을 받습니다. 동시에, 심층 학습 모델의 비동기 학습에서 그라디언트 클리핑이 학습을 "안정화"시킨다는 것이 경험적으로 관찰되었습니다. 본 연구에서는 클리핑이 오라클 복잡도에서 최대 지연에 대한 의존성을 제거함을 보임으로써, 이러한 동작에 대한 이론적인 근거를 제공합니다. 우리는 심층 학습에서의 경험적 관찰에 기초하여, 서브-가우시안 및 서브-지수 분포를 더 무거운 꼬리를 가진 분포로 일반화하는 서브-바이불(sub-Weibull) 그라디언트 노이즈 모델을 사용합니다. 우리는 기댓값 수렴을 보이며, 비동기 최적화 분야에서 최초로 높은 확률로의 수렴을 증명합니다.
원문 초록
In modern machine learning, parallelization of training is an important strategy for increasing scale. Asynchronous stochastic gradient descent (ASGD), which maximizes the utilization of available hardware by avoiding waiting for slow workers. However, with constant step sizes, the convergence of ASGD is nonetheless affected negatively by slow workers due to large delays in updates. At the same time, it has been empirically observed in asynchronous training of deep learning models that gradient clipping "stabilizes" training. In this work, we provide a theoretical justification for this behavior, as we show that clipping removes the dependence of the maximum delay in the oracle complexity. We employ a sub-Weibull model of gradient noise which generalizes sub-Gaussian and sub-exponential distributions to more heavy-tailed distributions, motivated by empirical observations in deep learning. We show convergence in expectation, and the first time in asynchronous optimization, convergence with high probability.
요약
비동기 확률적 경사 하강법(ASGD)에서 지연된 워커(stragglers)로 인한 성능 저하 문제를 해결하기 위해, 그라디언트 클리핑(gradient clipping)이 오라클 복잡도(oracle complexity)에서 최대 지연 의존성을 제거함을 이론적으로 입증합니다. 또한 서브-바이불(sub-Weibull) 노이즈 모델을 기반으로 비동기 최적화 분야에서 최초로 높은 확률로의 수렴을 보장합니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13287v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ZO-COSMO: 분산 제로차 최적화를 위한 인덱스 없는 원홉(one-hop) 혼합
ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization
분산 제로차 학습에서 희소 통신은 호환 가능한 피어 상태 좌표(peer-state coordinates)를 요구한다. 우리는 이 원홉(one-hop) 조건을 특성화하고, 활성 링크당 $q$개 값을 사용하는 평균 보존 마스크 합의(average-preserving masked consensus)와 이중 쿼리 추정(two-query estimation)을 결합한 \textsf{ZO-COSMO}를 제안한다. 전역 지원(global supports)은 전 이웃 혼합(all-neighbor mixing)에 사용되며, 매칭 업데이트(matching updates)는 각 쌍 내에서만 합의를 요구한다. 매칭 클래스 내에서 날카로운 스칼라당 수축(contraction-per-scalar) 상계를 유도하고, 핵심 및 희소-모멘텀(sparse-momentum) 업데이트에 대한 수렴 보장을 제공한다. 고정된 매칭에서 정확한 모멘트 항등식(moment identities)은 공유 방향이 그래디언트 이질성(gradient-heterogeneity) 상쇄를 어떻게 보존하고 추정 오차와 불일치(disagreement)를 재분배하는지를 특성화한다. 메커니즘 실험은 불균등 곡률, 노이즈, 희소 모멘텀을 다룬다. 추가 실험은 $64$개의 합성 에이전트와 8개의 논리적 Qwen LoRA 워커를 포함한다. 동일한 페이로드 예산에서 Qwen2-7B QNLI는 explicit-index Rand-$k$ 대비 $3.65$ 정확도 포인트를 얻으며, 8-워커 완전 그래프와 링 그래프에서 edge-local 업데이트는 전 이웃 혼합 대비 각각 $3.42$ 및 $2.53$ 포인트를 얻는다. 매칭-first-step 소거(ablation)는 $3.92$ 포인트의 모멘텀 이득을 보여준다. 시드 인식(seed-aware) 및 동일-매칭(same-matching) 대조는 인코딩, 스케줄링, 쿼리 상관(query correlation)을 구분한다.
노이즈 감소와 바이어스 보정을 통한 프라이빗 분산 최적화
Private Decentralized Optimization with Noise Reduction and Bias Correction
프라이빗 분산 학습은 이질적인 데이터 환경에서 샘플링 노이즈, 프라이버시 노이즈, 그리고 분산 바이어스의 영향을 받는다. 본 논문은 Private Recursive Decentralized Optimization(PRDO)을 제안한다. PRDO는 동일 배치 그래디언트 차이를 이용한 재귀적 추정(recursive estimation)으로 샘플링 노이즈와 프라이버시 노이즈에 의한 추정 오차를 줄이고, Exact Diffusion 구성 요소로 데이터 이질성에서 비롯되는 분산 바이어스를 보정한다. 본 분석은 노드 간 데이터 이질성이 균일하게 유계라는 가정 없이 비볼록(nonconvex) 수렴 바운드를 도출한다. 또한 재귀적 그래디언트 차이가 프라이빗 Exact Diffusion보다 엄밀하게 더 낮은 쿼리 민감도(query sensitivity)를 갖게 되는 충분 조건을 제시하고, 이 조건을 엄밀하게 만족하는 예시를 함께 제시한다. 실험 결과, 평가한 베이스라인 대비 정확도가 향상됨을 확인하였다.
평활성 상수에는 무엇이 담겨 있는가? 유계 2차 이종성 하 Local SGD의 더 정밀한 수렴률
What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity
Local SGD(연합 평균화(Federated Averaging)로도 알려짐)는 널리 사용되는 분산 최적화(optimization) 알고리즘이다. Local SGD는 실무에서 미니배치 SGD와 같은 대안들보다 종종 더 나은 성능을 보이지만, 이론은 현실적인 데이터 이종성 하에서 로컬 업데이트가 언제·왜 도움이 되는지를 여전히 부분적으로만 설명한다. [Patel et al., 2025]의 최근 연구는 유계 2차 이종성 가정이 강볼록 목적함수에 대한 Local SGD의 효율을 포착한다는 것을 보여 주며, 동일한 원리가 일반 볼록 설정으로 확장된다고 추측한다. 본 논문에서는 유계 2차 이종성 하 일반 볼록 목적함수에 대한 Local SGD의 개선된 수렴 보장을 확립함으로써 이 추측을 증명한다. 또한 이 설정에서 Local SGD에 대한 알려진 최선의 하한을 개선하여, 우리의 상한이 거의 tight함을 보인다. 이러한 결과를 종합하면 Local SGD에 대한 더 날카롭고 세밀한 수렴 이론이 제공된다. 기법의 추가 적용으로, 치환을 사용한 순차 SGD에 대한 하한을 제시하여 2차 이종성이 드문 고곡률(high-curvature) 클라이언트의 영향을 어떻게 포착하는지 보여 준다.
Differentially Private Natural Gradient Descent
모델 병합이 DiLoCo의 집계를 개선할 수 있는가?
Can Model Merging Improve Aggregation in DiLoCo?
독립적으로 파인튜닝된 모델들을 하나로 집계하여 각각의 능력을 결합하는 모델 병합 기법은 최근 몇 년간 큰 관심을 받아온 주제로, 이 문제를 해결하기 위한 다양한 방법들이 제안되어 왔다. 동시에, 분산 학습의 새로운 흐름으로서 로컬 SGD와 DiLoCo 같은 방법들이 활용되고 있으며, 이 방법들은 주기적으로 독립 학습된 로컬 모델들을 집계함으로써 통신 비용을 크게 줄인다. 그러나 이러한 통신 효율적 방법들은 독립적인 로컬 모델의 수가 증가하고 전역 통신 전 로컬 학습 스텝 수가 늘어남에 따라 FLOP 매칭 데이터 병렬 표준 대비 성능이 저하되는 것으로 나타났다. 본 연구에서는 로컬 SGD/DiLoCo의 의사 그래디언트(pseudo-gradient) 집계 단계와 태스크 산술(task arithmetic) 기반 모델 병합 간의 명시적인 유사성을 도출하여, 분산 최적화 맥락에서 병합 방법을 활용하는 직관적인 방법을 확립한다. 이후 이 설정에서 여러 최신 모델 병합 방법들을 평가하고, 그 중 Iso-C를 DiLoCo 개선을 위한 유망한 접근법으로 식별한다. Iso-C 집계를 적용한 DiLoCo SGD는 단순 의사 그래디언트 평균화뿐만 아니라 모멘텀 기반 DiLoCo조차 능가하는 것으로 나타났으며, 이는 Iso-C 자체에 모멘텀 메커니즘이 없음에도 불구하고 달성된 결과이다. 이 발견을 바탕으로 우리는 네스테로프 모멘텀(Nesterov momentum)을 적용하여 Iso-C를 분산 학습에 적합하게 개선한 IsoLoCo를 제안한다. 다양한 수의 로컬 워커를 사용한 언어 모델 사전학습에 대한 실증 평가에서 IsoLoCo는 DiLoCo를 크게 능가하며, 워커 수가 증가할수록 그 격차가 더욱 벌어지는 것으로 나타났다. 이러한 우위는 모델 크기와 내부 스텝 수 전반에 걸쳐 유지되어, 병합에서 영감을 받은 집계가 저통신 분산 학습을 위한 효과적인 전략임을 확인해 준다.
Class-Grouped Normalized Momentum and Faster Hyperparameter Exploration to Tackle Class Imbalance in Federated Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.