PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2508.04860v2math.OC

SGD는 헤비테일 노이즈를 다룰 수 있는가?

Can SGD Handle Heavy-Tailed Noise?

확률적 경사하강법(SGD)은 대규모 최적화(optimization)의 초석이지만, 현대 머신러닝과 강화학습(RL)에서 흔히 발생하는 헤비테일(heavy-tailed) 노이즈 하에서의 이론적 동작은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 어떠한 적응형 수정도 거치지 않은 바닐라 SGD가 이러한 불리한 확률적 조건 하에서 이론적으로 성공할 수 있는지를 엄밀하게 조사합니다. 확률적 그래디언트(stochastic gradient)가 특정 $p \in (1, 2]$에 대해 유계 $p$차 모멘트를 가진다는 가정만을 바탕으로, 볼록(convex), 강볼록(strongly convex), 비볼록(non-convex) 문제 클래스 전반에 걸쳐 (사영) SGD에 대한 정밀한 수렴(convergence) 보장을 확립합니다. 특히 볼록 및 강볼록 영역에서 최소한의 가정 하에 SGD가 각각 $\mathcal{O}(\varepsilon^{-\frac{p}{p-1}})$ 및 $\mathcal{O}(\varepsilon^{-\frac{p}{2(p-1)}})$의 미니맥스 최적 표본 복잡도(sample complexity)를 달성함을 보여줍니다. 비볼록 목적 함수에 대해서는 표준적인 매끄러움(smoothness)과 유계 중심 $p$차 모멘트 하에서 $\mathcal{O}(\varepsilon^{-\frac{2p}{p-1}})$ 복잡도로 정류점(stationary point)에 수렴함을 증명하며, 이에 일치하는 SGD 전용 하한을 보완하여 어떠한 결정론적 양의 비증가 학습률(step-size) 스케줄로도 이 속도를 향상시킬 수 없음을 보여줍니다. 이러한 결과는 헤비테일 노이즈가 SGD를 비효율적으로 만든다는 지배적인 관점에 도전하며, 분산이 무한한 영역에서도 바닐라 SGD가 견고하고 이론적으로 원칙에 입각한 기준선(baseline)임을 확립합니다.

arXiv:2609.39144v2cs.LG

상수 스텝사이즈 SGD에 대한 샤프 정상 가우스 근사

Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD

본 논문에서는 외생적 균일 에르고딕 마르코프 연쇄(uniformly ergodic Markov chain)에 의해 생성되는 유계 가산 잡음(bounded additive noise)을 갖는 상수 스텝사이즈 SGD의 불변 법칙에 대해 샤프(sharp) 가우스 근사를 증명합니다. 립시츠 헤시안(Lipschitz Hessian)과 비퇴화 장기 잡음 공분산을 갖는 매끄럽고 강볼록(strongly convex)인 목적 함수에 대해, 스텝사이즈의 제곱근으로 정규화된 중심화 반복해는 1-바서슈타인 거리(1-Wasserstein distance)에서 극한 가우스 분포와 $O(\sqrtα)$만큼 가깝습니다. 이 증명은 블록 단위 가우스 비교와 장기 수축(long-run contraction)을 결합합니다. 일회성 잡음 주변 분포가 대칭이고 모든 0이 아닌 지연의 자기공분산이 소멸함에도 불구하고, 4상태 예제는 일치하는 하한을 제공합니다. 이 예제에서는 인접한 3차 혼합 모멘트가 주요 보정을 생성합니다.

arXiv:2607.08104v2cs.LG

바닐라 SGD와 모멘텀은 헤비테일 노이즈에서도 수렴한다: 그래디언트 클리핑 또는 정규화 없는 수렴 분석

Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization

그래디언트 클리핑이나 정규화 없이 헤비테일 노이즈 환경에서 모멘텀을 갖춘 바닐라 SGD가 강볼록·볼록·비볼록 목적함수 모두에서 수렴함을 최초로 이론적으로 증명했다. 단, 도출된 수렴 속도는 클리핑·정규화 변형 SGD의 최적 속도보다 열등하여 바닐라 방법의 본질적 한계를 드러내며, 안정적 수렴을 위해 Hölder 연속성 지수 ν와 꼬리 지수 𝔭 사이의 조건 ν+1≤𝔭가 핵심적임을 실험으로 확인했다.

arXiv:2607.23012v1cs.LG

미니배치 노이즈가 지배적 부분공간 변동을 통해 샤프니스를 낮춘다

Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations

SGD 학습 동안 그래디언트는 종종 손실의 헤시안 상위 $k$개 고유벡터가 생성하는 지배적 부분공간과 강하게 정렬된다. 이는 자연스럽게 손실 감소가 주로 이 공간 내에서 일어난다는 것을 시사하는 것처럼 보이지만, 선행 연구는 이 지배적 부분공간 내의 업데이트가 손실을 줄이는 데 의미 있는 진전을 이루지 못한다는 것을 보여주었다. 본 연구에서는 지배적 부분공간을 손실 감소를 위한 주요 공간이 아니라 미니배치 SGD의 샤프니스 역학을 설명하는 핵심 부분공간으로 이해하는 것이 더 적절하다고 주장한다. 상위 $k$ 샤프니스를 줄이는 데 있어 지배적 부분공간의 역할을 설명하기 위해, 지배적 방향에서의 변동에 대한 평균 그래디언트가 어떻게 샤프니스 보정 항을 생성하는지 보이고, 지배적 방향에서 미니배치 노이즈에 의해 유도되는 샤프니스 보정 항을 유도한다. 실험 결과는 유도된 보정 항을 GD에 추가하면 GD의 샤프니스 변화가 SGD의 그것에 더 가까워진다는 것을 보여준다.

arXiv:2601.12238v5stat.ML

비정상 확률적 최적화에서 모멘텀 SGD의 증명 가능한 준최적성

On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization

본 논문에서는 강볼록성과 평활성 하에서 시간 가변 최적점을 추적하기 위한 확률적 경사하강법(SGD) 및 그 모멘텀 변형(Polyak Heavy-Ball 및 Nesterov)에 대한 포괄적인 이론적 분석을 제공한다. 유한 시간 상계는 추적 오차를 과도(transient), 잡음 유발, 및 드리프트 유발 성분으로 분해하는 sharp한 분해를 밝힌다. 이 분해는 근본적인 트레이드오프를 드러낸다. 모멘텀은 종종 그래디언트 평활화 휴리스틱으로 사용되지만, 분포 이동(distribution shift) 하에서는 모멘텀 매개변수 $β$가 1에 접근할수록 발산하는 명시적인 드리프트 증폭 페널티를 발생시켜 체계적인 추적 지연을 초래한다. 우리는 그래디언트 변화 제약 하에서 minimax 하계를 통해 이러한 상계를 보완하여, 이 모멘텀 유발 추적 페널티가 분석적 인공물이 아니라 정보 이론적 장벽임을 증명한다. 드리프트 지배 영역에서는 오래된 그래디언트 평균화가 체계적인 지연을 강제하므로 모멘텀이 불가피하게 더 나쁘다. 우리의 결과는 동적 환경에서 모멘텀의 경험적 불안정성에 대한 이론적 근거를 제공하며, vanilla SGD가 가속화된 대응 방법들을 증명 가능하게 능가하는 영역 경계를 정밀하게 구분한다.

arXiv:2606.30930v1stat.ML

안정성의 경계에서의 SGD: 큰 학습률을 이용한 확률적 안정화

SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates

SGD의 확률적 동역학을 분석하여 임의로 큰 학습률에서도 다중 클래스 교차 엔트로피 손실에 대한 엄밀한 수렴 보장을 제공하며, 곡률 기반 진동이 지배하는 안정성의 경계(Edge of Stability) 레짐과 안정적 레짐 사이를 오가는 SGD가 확률적 Lyapunov 안정성 이론을 통해 스스로 자기 안정화(self-stabilization)함을 선형 분류기와 2층 신경망 모두에서 이론적으로 증명한다.

arXiv:2501.08425v3cs.LG

확률적 경사 하강법은 효과적인가? 기계학습 과정에 대한 편미분방정식 관점

Is Stochastic Gradient Descent Effective? A PDE Perspective on Machine Learning processes

본 논문에서는 비볼록 손실 함수의 최소화를 통해 신경망 가중치를 최적화하는 지도학습의 널리 사용되는 방법인 확률적 경사 하강법(SGD)의 동작을 분석한다. E, Li, Tai(2017)의 선구적 연구 이래로, 이러한 과정의 기저 구조는 Fokker-Planck형 포물형 편미분방정식(PDE)을 통해 이해될 수 있으며, 이것이 본 분석의 핵심을 이룬다. Fokker-Planck 방정식은 오랜 역사와 방대한 문헌을 갖고 있음에도 불구하고, 포텐셜이 비볼록하거나 확산 행렬이 퇴화된 경우에 대해서는 거의 알려진 바가 없으며, 이것이 본 분석에서 직면하는 주된 난점이다. 우리는 두 가지 서로 다른 레짐을 식별한다: SGD의 초기 단계에서 손실 함수는 가중치를 가장 가까운 지역 최솟값 주변에 집중시키도록 유도한다. 이 단계를 드리프트 레짐이라 부르며, 이 집중 현상에 대한 정량적 추정을 제공한다. 다음으로, 확률적 요동이 학습 과정이 준최적 지역 최솟값을 탈출하도록 돕는 확산 레짐을 도입한다. 평균 탈출 시간(MET)을 분석하고 MET의 상한 및 하한을 증명한다. 마지막으로, 표준 접근법의 사용을 허용하지 않아 새로운 기법을 필요로 하는 비볼록 비용 함수와 퇴화된 확산 행렬에 대한 SGD의 점근적 수렴을 다룬다. 이를 위해 쌍대성과 엔트로피 방법이라는 두 가지 서로 다른 방법을 활용한다. 본 논문은 SGD의 동역학과 효과성에 관한 새로운 결과를 제공하고, 확률적 최적화와 PDE 이론 간의 깊은 연관성을 제시하며, 기계학습 과정의 근본적인 질문들에 대한 답변과 통찰을 제공한다: SGD가 나쁜 최솟값에서 탈출하는 데 얼마나 걸리는가? SGD를 사용하면 신경망 파라미터가 수렴하는가? SGD를 이용한 학습 초기 단계에서 파라미터는 어떻게 진화하는가?