PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.39144v2cs.LG

상수 스텝사이즈 SGD에 대한 샤프 정상 가우스 근사

Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD

본 논문에서는 외생적 균일 에르고딕 마르코프 연쇄(uniformly ergodic Markov chain)에 의해 생성되는 유계 가산 잡음(bounded additive noise)을 갖는 상수 스텝사이즈 SGD의 불변 법칙에 대해 샤프(sharp) 가우스 근사를 증명합니다. 립시츠 헤시안(Lipschitz Hessian)과 비퇴화 장기 잡음 공분산을 갖는 매끄럽고 강볼록(strongly convex)인 목적 함수에 대해, 스텝사이즈의 제곱근으로 정규화된 중심화 반복해는 1-바서슈타인 거리(1-Wasserstein distance)에서 극한 가우스 분포와 $O(\sqrtα)$만큼 가깝습니다. 이 증명은 블록 단위 가우스 비교와 장기 수축(long-run contraction)을 결합합니다. 일회성 잡음 주변 분포가 대칭이고 모든 0이 아닌 지연의 자기공분산이 소멸함에도 불구하고, 4상태 예제는 일치하는 하한을 제공합니다. 이 예제에서는 인접한 3차 혼합 모멘트가 주요 보정을 생성합니다.