본 논문은 모멘텀(momentum) 업데이트를 사용하는 부호 기반 방법론(sign-based methods)에 대한 개선된 분석을 제시합니다. 기존의 부호 기반 방법론은 분리 가능한 매끄러움(separable smoothness) 가정 하에서 $\mathcal{O}(T^{-1/4})$의 수렴 속도를 달성하지만, 일반적으로 큰 배치 크기를 필요로 하거나 단봉형 대칭 확률적 노이즈(unimodal symmetric stochastic noise)를 가정합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 모멘텀을 적용한 signSGD가 추가적인 가정 없이 일정한 배치 크기를 사용하여 동일한 수렴 속도를 달성할 수 있음을 입증합니다. 또한 $l_2$-매끄러움 조건 하에서의 수렴 속도를 규명하여 문제의 차원 $d$에 대해 기존 연구 결과보다 $\mathcal{O}(d^{1/2})$만큼 향상된 결과를 제시합니다. 나아가 분산 환경에서의 부호 기반 방법론을 탐구하여, 제안된 방법이 각각 기존 결과인 $\mathcal{O}\left( dT^{-1/4} + dn^{-1/2} \right)$ 및 $\mathcal{O}\left( d^{3/8}T^{-1/8} \right)$을 능가하는 $\mathcal{O}\left( d^{1/2}T^{-1/2} + dn^{-1/2} \right)$ 및 $\mathcal{O}\left(d^{1/4}T^{-1/4}\right)$의 수렴 속도를 제공함을 보입니다. 수치 실험을 통해서도 제안된 방법들의 효과를 검증합니다.
warmup-stable-decay(WSD) 학습률 스케줄의 쿨다운 단계는 대규모 모델 사전학습에서 이제 기본값이 되었으며, 어떤 설정에서는 최종 학습 손실을 낮추지만 다른 설정에서는 아무 효과도 없다. 우리는 어떤 경우가 성립하는지에 대한 증명 가능한 설명을 제공하며, 이는 두 가지 성질, 즉 그래디언트 노이즈의 구조와 옵티마이저가 업데이트를 정규화하는지 여부에 함께 달려 있다. 강볼록 목적함수와 곱셈적(그래디언트 비례) 노이즈 하에서 확률적 경사하강법은 일정한 학습률에서 기하학적으로 수축하므로 쿨다운이 개선할 여지가 없다. 동일한 목적함수와 노이즈 하에서 적응형 옵티마이저의 표준 대리인 부호 기반 및 정규화 방법들은 $η^2$ 차수의 노이즈 바닥에 정착하며, 학습률이 0으로 수렴할 때에만 최솟값에 도달한다. 반면 가산 노이즈가 있으면 모든 방법에 대해 바닥이 다시 나타난다. 메커니즘은 기본적이다. SGD 단계는 그래디언트에 비례하여 축소되므로 스스로 어닐링되지만, 정규화된 단계는 단위 스케일을 유지하므로 그렇지 못한다. 우리는 이차 목적함수에서 signSGD 정상 법칙을 정확히 풀어 바닥 상수를 닫힌 형태로 얻고, $(L_0,L_1)$-매끄러움 하에서 분리의 국소 형태를 증명하며, 스케일 불변성 논증을 통해 차원 d>1에서 정규화 SGD로 바닥을 확장하고, 모멘텀과 heavy-tailed 노이즈에 대한 견고성을 확립한다. 시뮬레이션은 모든 예측을 확인하며, 우리는 직접 측정된 그래디언트 노이즈를 사용한 실제 분류 작업에서 그 결과로 얻은 노이즈 체제 진단을 시연한다. 이 메커니즘은 쿨다운이 도움이 되는지 여부를 설명하며, 대규모에서 사용되는 내부 쿨다운 비율은 정상 상태의 landscape-노이즈 기하 밖에 있다.