모멘텀 경사하강법의 수정된 손실: 미세 입도 분석
Modified Loss of Momentum Gradient Descent: Fine-Grained Analysis
본 연구에서는 고정된 모멘텀(momentum) 하이퍼파라미터 $\beta\in (0, 1)$가 메모리의 지수적 감쇠를 제공하는 폴리아크(Polyak, 1964)의 헤비볼 모멘텀(HB) 경사하강법을 분석한다. Kovachki와 Stuart(2021)의 연구를 바탕으로, 스텝 크기 $h$가 충분히 작다면 지수적으로 끌어당기는 불변 다양체 위에서 이 알고리즘이 수정된 손실(loss)을 갖는 순수 경사하강법(plain gradient descent)과 정확히 일치함을 증명한다. 수정된 손실이 닫힌 형식(closed-form)의 표현식을 허용하지는 않지만, 임의의 유한 차수 $\mathcal{R}$에 대해 $O(h^{\mathcal{R}})$ 오차 수준까지 이를 기술하며, 전역적(유한 "시간" 지평) 궤적 근사 한계 $O(h^{\mathcal{R}})$를 증명한다. 이어 HB의 무기억 근사 기저에 있는 조합론에 대한 미세 입도 분석(fine-grained analysis)을 수행하며, 특히 오일러 다항식(Eulerian polynomials)과 나라야나 다항식(Narayana polynomials)을 포함하고 계수별로 그 사이에 위치하는 $\beta$에 대한 풍부한 다항식군이 내부에 숨겨져 있음을 발견한다. 또한 이러한 다항식들이 특정 그래프 결합다면체(graph-associahedra)의 $h$-다항식임을 증명한다. 주요 결과의 따름정리로, Rosca 등(2023)을 일반화하여 (엄밀한 경계를 갖는) 임의의 유한 근사 차수의 연속 수정 방정식과 HB 동역학을 근사하는 주 흐름(principal flow)을 도출한다. 근사 정리는 풀배치(full-batch) 및 미니배치(mini-batch) HB 모두를 포괄한다. 본 연구 결과는 HB의 주요 특성에 대한 새로운 통찰을 제시하며, 다른 최적화(optimization) 알고리즘의 유사한 분석을 위한 로드맵을 제공한다.