상수 스텝사이즈 SGD에 대한 샤프 정상 가우스 근사
Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD
한국어 초록
본 논문에서는 외생적 균일 에르고딕 마르코프 연쇄(uniformly ergodic Markov chain)에 의해 생성되는 유계 가산 잡음(bounded additive noise)을 갖는 상수 스텝사이즈 SGD의 불변 법칙에 대해 샤프(sharp) 가우스 근사를 증명합니다. 립시츠 헤시안(Lipschitz Hessian)과 비퇴화 장기 잡음 공분산을 갖는 매끄럽고 강볼록(strongly convex)인 목적 함수에 대해, 스텝사이즈의 제곱근으로 정규화된 중심화 반복해는 1-바서슈타인 거리(1-Wasserstein distance)에서 극한 가우스 분포와 $O(\sqrtα)$만큼 가깝습니다. 이 증명은 블록 단위 가우스 비교와 장기 수축(long-run contraction)을 결합합니다. 일회성 잡음 주변 분포가 대칭이고 모든 0이 아닌 지연의 자기공분산이 소멸함에도 불구하고, 4상태 예제는 일치하는 하한을 제공합니다. 이 예제에서는 인접한 3차 혼합 모멘트가 주요 보정을 생성합니다.
원문 초록
We prove a sharp Gaussian approximation for the invariant law of constant-stepsize SGD with bounded additive noise generated by an exogenous uniformly ergodic Markov chain. For a smooth, strongly convex objective with a Lipschitz Hessian and nondegenerate long-run noise covariance, the centered iterate normalized by the square root of the stepsize is $O(\sqrtα)$-close in 1-Wasserstein distance to its limiting Gaussian. The proof combines blockwise Gaussian comparison with long-run contraction. A four-state example gives a matching lower bound although the one-time noise marginal is symmetric and every nonzero-lag autocovariance vanishes. In this example, an adjacent third-order mixed moment produces the leading correction.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
바닐라 SGD와 모멘텀은 헤비테일 노이즈에서도 수렴한다: 그래디언트 클리핑 또는 정규화 없는 수렴 분석
Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization
확률적 경사하강법(SGD)은 현대 최적화의 핵심 기법이다. 헤비테일 노이즈 환경에서의 성능은 흔히 그래디언트 클리핑이나 정규화와 같은 특수한 변형을 통해 다루어지지만, 본 연구는 보다 근본적인 질문을 탐구한다: 바닐라 SGD, 특히 모멘텀을 적용한 경우, 헤비테일 노이즈가 존재할 때 어떻게 동작하는가? 본 논문에서는 바닐라 SGD의 기존 수렴 결과를 개선하고, 더 나아가 어떠한 그래디언트 제어 메커니즘도 사용하지 않고 강볼록(strongly convex), 볼록(convex), 비볼록(nonconvex) 목적함수에 대한 모멘텀을 갖춘 바닐라 SGD의 최초의 포괄적인 수렴 분석을 제공한다. 분석 결과, 도출된 수렴 속도는 클리핑 또는 정규화 변형 SGD가 달성하는 최적 속도보다 열등함을 보이며, 이를 통해 헤비테일 노이즈 환경에서 바닐라 방법이 갖는 본질적인 한계를 밝힌다. 이론적 결과는 합성 함수에 대한 실험을 통해 뒷받침된다.
미니배치 노이즈가 지배적 부분공간 변동을 통해 샤프니스를 낮춘다
Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations
SGD 학습 동안 그래디언트는 종종 손실의 헤시안 상위 $k$개 고유벡터가 생성하는 지배적 부분공간과 강하게 정렬된다. 이는 자연스럽게 손실 감소가 주로 이 공간 내에서 일어난다는 것을 시사하는 것처럼 보이지만, 선행 연구는 이 지배적 부분공간 내의 업데이트가 손실을 줄이는 데 의미 있는 진전을 이루지 못한다는 것을 보여주었다. 본 연구에서는 지배적 부분공간을 손실 감소를 위한 주요 공간이 아니라 미니배치 SGD의 샤프니스 역학을 설명하는 핵심 부분공간으로 이해하는 것이 더 적절하다고 주장한다. 상위 $k$ 샤프니스를 줄이는 데 있어 지배적 부분공간의 역할을 설명하기 위해, 지배적 방향에서의 변동에 대한 평균 그래디언트가 어떻게 샤프니스 보정 항을 생성하는지 보이고, 지배적 방향에서 미니배치 노이즈에 의해 유도되는 샤프니스 보정 항을 유도한다. 실험 결과는 유도된 보정 항을 GD에 추가하면 GD의 샤프니스 변화가 SGD의 그것에 더 가까워진다는 것을 보여준다.
안정성의 경계에서의 SGD: 큰 학습률을 이용한 확률적 안정화
SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates
현대 심층 학습은 안정성의 경계에서 동작하며, 고전적인 최적화 이론이 정당화하는 것보다 훨씬 큰 학습률을 일상적으로 사용한다는 것이 밝혀졌다. 안정성의 경계 현상에 대한 대부분의 기존 분석은 결정론적 경사하강법에 초점을 맞추어, 확률적 환경은 대부분 미탐구 상태로 남아 있다. 본 연구에서는 선형 분류기와 2층 신경망 모두에 대해, 다중 클래스 교차 엔트로피 손실에 적용된 확률적 경사하강법(SGD)의 엄밀한 수렴 보장을 제공한다. SGD의 확률성은 곡률 기반 진동이 지배하는 안정성의 경계 레짐과, 기대 손실이 제어된 속도로 감소하는 안정적 레짐 사이를 역학이 교대로 오가도록 유발할 수 있음을 보인다. 그럼에도 불구하고, SGD가 역학을 자기 안정화(self-stabilize)함을 증명한다. 이는 반복이 고정된 횟수의 이터레이션 내에 안정성으로 복귀하도록 보장하며, 큰 학습률에서도 최선 반복(best-iterate) 의미에서의 수렴을 가능하게 한다. 실험을 통해 이론적 결과를 검증하고, 큰 스텝 크기 레짐에서 SGD의 이점을 보여준다.
The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference
강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한
Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets
AMUSE: 안정적 그래디언트 평가를 갖춘 Anytime Muon
AMUSE: Anytime Muon with Stable Gradient Evaluation
현대 심층 학습은 일반적으로 지정된 학습률 스케줄과 함께 AdamW에 의존하지만, 최근 연구들은 두 요소 모두에 이의를 제기한다. Schedule-Free 최적화는 반복 평균화를 통해 명시적 스케줄을 제거하고, Muon은 행렬 파라미터에 대해 모멘텀을 직교화함으로써 업데이트 기하학을 개선한다. Muon의 강력한 실증적 성능에도 불구하고, 그 근본 메커니즘은 부분적으로만 이해되고 있다. 우리는 river-valley 손실 지형을 통해 Muon을 연구한다. 여기서 유용한 학습 진행은 평탄하고 낮은 곡률의 bulk 부분공간(river)을 따라 이루어지며, 높은 곡률의 지배적 방향은 가파른 계곡 벽(valley walls)을 형성하여 진동을 유발한다. 우리는 실증적으로 Muon의 직교화가 bulk 성분을 증가시켜 river 진행을 가속하지만, 동시에 지배적 방향 노이즈를 증폭하여 진동하는 궤적을 유발함을 보인다. 이를 바탕으로, 우리는 Muon의 빠른 bulk 진행과 Schedule-Free 평균화의 안정화 효과를 통합하는 Anytime Muon with Stable Gradient Evaluation(AMUSE)를 제안한다. AMUSE는 시간에 따라 변하는 보간 계수를 사용하여, 초기에는 빠른 Muon 시퀀스 근처에서 그래디언트를 평가하여 신속한 적응을 이루고, 이후 점진적으로 안정적인 평균화된 시퀀스 쪽으로 이동하여 계곡 벽 진동을 억제한다. 그 결과 AMUSE는 학습률 스케줄이 필요 없으며 anytime 학습을 지원한다. 비전 태스크와 대규모 언어 모델 사전학습 전반에 걸쳐, AMUSE는 (Schedule-Free) AdamW 및 Muon 대비 성능-반복 파레토 프론티어를 일관되게 개선한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
To be presented at 2026 NeurIPS workshop on "Optimization for Machine Learning" (OPT2026)