확률적 동적 시스템을 위한 Adam 알고리즘 분석
Analysis of Adam Algorithms for Stochastic Dynamic Systems
적응형 모멘텀 추정 알고리즘인 Adam은 반복당 낮은 계산 복잡도와 강력한 실증적 성능 덕분에 현대 머신러닝에서 널리 사용된다. 광범위하게 활용됨에도 불구하고, Adam의 이론적 기반은 시변(time-varying) 및 비정상(nonstationary) 시스템에 대해 대부분 미개척 상태로 남아 있다. 실제로 Adam 유형 알고리즘의 기존 이론적 분석은 주로 시불변(time-invariant) 모델 매개변수를 다루며, 독립 동일 분포(i.i.d.) 데이터 가정에 명시적 또는 묵시적으로 의존한다. 이 가정 하에서는 학습 과제가 정적 최소화 지점을 가진 고정된 기대 목적 함수를 최소화하는 문제로 정식화될 수 있다. 그러나 이러한 가정은 시변 및 비정상 시스템에서 종종 위반되므로, 기존의 이상화된 i.i.d. 환경을 넘어서는 이론적 탐구가 요구된다. 본 논문의 주요 목표는 시변 및 비정상 확률적 시스템을 위한 Adam의 일반 이론을 수립함으로써 이 어려운 문제를 해결하는 것이다. 우리는 Adam의 결합된 1차 및 2차 모멘텀 점화식(recursion)에 의해 유도되는 비정상적이고 종속적인 랜덤 행렬의 곱을 분석하기 위한 새로운 기법을 도입하고, 두 모멘텀 동역학을 결합하는 새로운 확률적 Lyapunov 함수를 구성한다. 비정상적이고 종속적인 데이터를 허용하는 확률적 여기(excitation) 조건 하에서, 매개변수 추적 및 출력 예측 오차 한계를 명시적으로 도출하여 스텝 크기, 1차 및 2차 모멘텀 매개변수, 그래디언트 잡음, 매개변수 드리프트의 영향을 정량화한다. 이러한 한계는 Adam 성능에 대한 보장을 제공할 뿐만 아니라 하이퍼파라미터 선택을 위한 지침도 제공한다. 합성 데이터와 실세계 데이터 모두에 대한 실험이 우리의 이론과 설계 지침을 검증한다.