Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization
원문 초록
In this paper, we consider the nonsmooth nonconvex decentralized optimization problem, where inter-agent communication is compressed. We propose a general framework that unifies various decentralized stochastic subgradient-type methods with unbiased compression and contractive compression with error compensation. By relating the consensus-error iterates and the averaged iterates to the trajectories of continuous-time differential inclusions, we establish global convergence for all methods encompassed by our framework when the objective functions are nonsmooth and lack Clarke regularity. Based on our framework, we further develop several compression-based methods, including decentralized stochastic subgradient methods utilizing sign-based regularization and gradient-tracking momentum. Preliminary numerical experiments empirically support our theoretical results and highlight the communication-accuracy trade-off of the newly developed methods.
요약
비매끄럽고(nonsmooth) 비볼록한(nonconvex) 분산 최적화 문제에서 에이전트 간 통신을 압축(communication compression)하는 일반 프레임워크 DESC를 제안하며, 비편향 압축과 수축 압축(contractive compression)을 통합한다. 연속시간 미분 포함(differential inclusion) 궤적과의 연결을 통해 Clarke 정칙성이 없는 비매끄러운 목적 함수에 대해서도 전역 수렴(global convergence)을 이론적으로 확립하고, 수치 실험으로 통신-정확도 트레이드오프를 실증한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01755v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Revisiting Decentralized Online Convex Optimization with Compressed Communication
ZO-COSMO: 분산 제로차 최적화를 위한 인덱스 없는 원홉(one-hop) 혼합
ZO-COSMO: Index-Free One-Hop Mixing for Decentralized Zeroth-Order Optimization
분산 제로차 학습에서 희소 통신은 호환 가능한 피어 상태 좌표(peer-state coordinates)를 요구한다. 우리는 이 원홉(one-hop) 조건을 특성화하고, 활성 링크당 $q$개 값을 사용하는 평균 보존 마스크 합의(average-preserving masked consensus)와 이중 쿼리 추정(two-query estimation)을 결합한 \textsf{ZO-COSMO}를 제안한다. 전역 지원(global supports)은 전 이웃 혼합(all-neighbor mixing)에 사용되며, 매칭 업데이트(matching updates)는 각 쌍 내에서만 합의를 요구한다. 매칭 클래스 내에서 날카로운 스칼라당 수축(contraction-per-scalar) 상계를 유도하고, 핵심 및 희소-모멘텀(sparse-momentum) 업데이트에 대한 수렴 보장을 제공한다. 고정된 매칭에서 정확한 모멘트 항등식(moment identities)은 공유 방향이 그래디언트 이질성(gradient-heterogeneity) 상쇄를 어떻게 보존하고 추정 오차와 불일치(disagreement)를 재분배하는지를 특성화한다. 메커니즘 실험은 불균등 곡률, 노이즈, 희소 모멘텀을 다룬다. 추가 실험은 $64$개의 합성 에이전트와 8개의 논리적 Qwen LoRA 워커를 포함한다. 동일한 페이로드 예산에서 Qwen2-7B QNLI는 explicit-index Rand-$k$ 대비 $3.65$ 정확도 포인트를 얻으며, 8-워커 완전 그래프와 링 그래프에서 edge-local 업데이트는 전 이웃 혼합 대비 각각 $3.42$ 및 $2.53$ 포인트를 얻는다. 매칭-first-step 소거(ablation)는 $3.92$ 포인트의 모멘텀 이득을 보여준다. 시드 인식(seed-aware) 및 동일-매칭(same-matching) 대조는 인코딩, 스케줄링, 쿼리 상관(query correlation)을 구분한다.
노이즈 감소와 바이어스 보정을 통한 프라이빗 분산 최적화
Private Decentralized Optimization with Noise Reduction and Bias Correction
프라이빗 분산 학습은 이질적인 데이터 환경에서 샘플링 노이즈, 프라이버시 노이즈, 그리고 분산 바이어스의 영향을 받는다. 본 논문은 Private Recursive Decentralized Optimization(PRDO)을 제안한다. PRDO는 동일 배치 그래디언트 차이를 이용한 재귀적 추정(recursive estimation)으로 샘플링 노이즈와 프라이버시 노이즈에 의한 추정 오차를 줄이고, Exact Diffusion 구성 요소로 데이터 이질성에서 비롯되는 분산 바이어스를 보정한다. 본 분석은 노드 간 데이터 이질성이 균일하게 유계라는 가정 없이 비볼록(nonconvex) 수렴 바운드를 도출한다. 또한 재귀적 그래디언트 차이가 프라이빗 Exact Diffusion보다 엄밀하게 더 낮은 쿼리 민감도(query sensitivity)를 갖게 되는 충분 조건을 제시하고, 이 조건을 엄밀하게 만족하는 예시를 함께 제시한다. 실험 결과, 평가한 베이스라인 대비 정확도가 향상됨을 확인하였다.
제약 조건이 있는 비평활 비볼록 확률적 최적화를 위한 최적 알고리즘
Optimal Algorithms for Nonsmooth Nonconvex Stochastic Optimization with Constraints
본 논문에서는 볼록 제약 집합 하에서 목적 함수가 평활(smooth)하지도 볼록(convex)하지도 않은 확률적 최적화(stochastic optimization) 문제를 위한 새로운 알고리즘을 제시합니다. 제안하는 알고리즘은 제약이 있는 문제에 대해 Liu et al. (2024)이 최근 정의한 $(δ,\varepsilon)$-골드스타인 정상점($(δ,\varepsilon)$-Goldstein stationary point)을 향상된 복잡도로 반환하며, 여러 설정에서 이 작업에 대해 최초로 최적의 수렴(convergence) 속도를 달성합니다. 구체적으로, 확률적 기울기(stochastic gradient)를 사용하여 최적임을 증명한 $\widetilde O(δ^{-1}\varepsilon^{-3})$ 속도를 달성하는 투영 기반(projection-based) 및 무투영(projection-free) 알고리즘을 설계하고, 0차 쿼리(zeroth-order queries)를 사용하여 차원 $d$에 대한 의존성 측면에서 최적이자 기존 연구를 개선한 $\widetilde O(dδ^{-1}\varepsilon^{-3})$ 속도를 달성합니다. 특히, 우리의 하한(lower bound)은 프랭크-울프 갭(Frank-Wolfe gap) 관점에서 제시되며 평활한 문제에서도 성립하므로 독립적인 관심 대상이 됩니다. 이러한 결과는 비볼록 확률적 최적화에서 제약 조건의 존재나 비평활성 모두에 의해 수렴 속도가 저하되지 않음을 보여줍니다. 본 분석은 제약 없는 최적화의 관련 기법을 확장하여 온라인 선형 최적화(online linear optimization)로의 귀약(reduction)을 기반으로 합니다.
거리 의존적 모멘트 조건에서의 일반적인 비볼록 SGD: 유한 시계 정지성과 나가예프 한계
Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds
균일한 노이즈 모멘트 한계 조건은 반복점(iterate)에 따라 변동성이 증가하는 확률적 그래디언트를 배제합니다. 본 논문에서는 거리 의존적인 조건부 모멘트 하에서, 매끄럽고 하한이 있는 비볼록(nonconvex) 목적 함수에 대한 일반적인 단일 샘플 확률적 경사하강법(SGD)을 연구합니다. 2차 모멘트 조건만으로도 직접적인 하강-변위(descent--displacement) 논증을 통해 시계 의존적 스텝사이즈를 갖는 $T^{-1/3}$ 기대 평균 제곱 그래디언트 정지성을 도출합니다. 명시적인 오라클 복잡도 따름정리는 $Δ$가 초기 목적 함수 차이이고 $σ^2+b_2\|x-x_1\|^2$가 분산을 제한할 때 $Lb_2Δ^3\varepsilon^{-6}$ 및 $LΔσ^2\varepsilon^{-4}$ 확률적 항을 포함하여 기존에 알려진 매끄러운 블룸-글라디셰프(Blum--Gladyshev, BG-0) 하한과 일치합니다. 따라서 수정되지 않은 일반 SGD는 이 2차 모멘트 클래스에서 미니맥스 확률적 복잡도를 달성합니다. $p>2$인 경우, 예측 가능한 국소화(localization)와 힐베르트 공간 푹-나가예프(Fuk--Nagaev) 부등식을 통해 로그 분산과 다항식 희귀 충격(rare-shock) 기여를 분리하는 높은 확률 한계를 얻습니다. 국소화 반경은 재귀식으로부터 유도되므로, 유계 반복점 가정, 클리핑, 정규화(normalization), 모멘텀(momentum) 또는 증가하는 배치(batch) 크기가 필요하지 않습니다. 또한 신뢰도 증가율(increasing-confidence rates), $\sqrt{T}$ 정지성을 회복하는 목적 함수 차이 성장 개선, 그리고 확률적 $L^p$-립시츠 예시를 제시합니다. 광범위한 BG-0 최적성 진술은 추가적인 오라클 구조를 통해 더 빠른 알고리즘이 허용되는 더 좁은 평균 제곱 평활 클래스와 구별됩니다.
하강 방향으로부터 학습: 일방 Hölder 정칙성 하의 적응형 경사하강법
Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
연속 미분 가능하고 비볼록일 수 있는 목적함수에 대해, 일방 Hölder 정칙성 하에서 적응형 경사하강법을 연구한다. 고전적인 Hölder 또는 Lipschitz 그래디언트 가정과 달리, 후자는 전체 그래디언트 변화를 제어하는 반면, 우리의 조건은 하강 부등식에 나타나는 방향 항만을 제한한다. 이는 그래디언트 변화가 크더라도 업데이트 방향에 직교하거나, 그 방향을 따라 유리한 경우 보다 덜 보수적인 스텝 크기를 허용할 수 있다. 양의 일방 Hölder 곡률 추정에 기반한 적응형 스칼라 스텝 방법을 제안하며, 이를 간단한 충분 감소(sufficient-decrease) 보호 장치와 결합한다. 수용된 업데이트 구간을 포함하는 볼록 영역 위의 비볼록 목적함수에 대해, Hölder 지수에 의해 결정되는 명시적 최적 반복 정류(stationarity) 한계를 증명한다. 미리 정해진 감소 스텝 크기 스킴과 달리, 이 방법은 국소 하강 기하에 적응한다. 방향 곡률과 전체 그래디언트 변화를 분리하도록 설계된 두 개의 풀 배치(full-batch) 벤치마크에서 접근법을 평가한다. 이진 분류 문제에서, 이 방법은 비교된 스칼라 그래디언트 방법들 중 최종 교차 엔트로피, 목적함수 값, 그래디언트 노름이 가장 낮고, 분류 마진이 가장 크다. 비볼록 Hölder 회귀 문제에서, 최종 목적함수 간극과 그래디언트 노름이 가장 낮다. 이 결과는 전체 그래디언트 변화가 하강을 방해하지 않는 방향으로 인해 부풀려질 때, 일방 Hölder 곡률이 효과적인 적응형 스텝 크기 신호임을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.