SGD의 적응형 변형에 관한 고차원 극한 정리 I: 탄도 극한
High-dimensional limit theorems for adaptive variants of SGD I: Ballistic limits
한국어 초록
확률적 경사하강법(SGD)의 적응형 모멘텀 변형에 대해 고차원에서의 유효 동역학을 도출한다. 이 동역학은 마르코프 과정으로 주어진다. 핵심은 지수 이동 평균과 전처리 조건화 때문에 알고리즘에 생기는 비마르코프성을 평균화 방법으로 다룰 수 있다는 점이다. 이 접근법은 적응적 모멘텀 추정(ADAM), 뉴턴–슐츠 방법으로 직교화한 모멘텀(MUON)과 그 변형을 비롯한 다양한 알고리즘에 적용할 수 있다. 텐서 주성분 분석(PCA), 가우스 투영 모델, 교사–학생 신경망, 실무에서 널리 쓰이는 MUON과 ADAM의 혼합 방식으로 XOR 문제를 학습시킨 다층 신경망 등 다양한 학습 과제에도 적용할 수 있다. 이 기법으로 알고리즘 간 성능을 정밀하게 정량 비교할 수 있음을 보여 준다. 예를 들어 학습 초기에는 온라인 SGD가 ADAM보다 일반화 성능이 높지만, 학습 곡선이 교차한 뒤에는 ADAM이 앞서는 현상을 관찰했다. 또한 안정성 경계 현상의 한 형태를 증명했다. 특히 안정성 경계를 정밀하게 특징짓는 무한대 라플라시안의 유사체를 도입한다.
원문 초록
We develop the high-dimensional effective dynamics for adaptive, momentum-based variants of Stochastic Gradient Descent (SGD). These effective dynamics are given by a Markov process. They key observation is that the non-Markovianity in the algorithm due to the exponential moving average and preconditioning can be treated using the method of averaging. Our approach applies to a broad class of algorithms including to Adaptive momentum estimation (ADAM), Momentum orthogonalized by Newton-Schultz (MUON), and its variants. It also applies to a broad class of learning tasks, such at tensor PCA, Gaussian projective models, teacher-student networks, and a multi-layer neural network trained on the XOR problem using a hybrid of MUON and ADAM as commonly done in practice. We demonstrate how to this technique can give precise, quantitative comparisons between algorithms. In particular, we find interesting phenomena, such as the cross-over phenomenon where online SGD has better generalization than ADAM early in training until the learning curves cross and ADAM dominates. Furthermore, we prove a version of the Edge of Stability phenomenon. In particular, we introduce an analogue of the infinity Laplacian that sharply characterizes the Edge of Stability.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19059v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.