이중 시간 척도 확률적 근사(two-time-scale SA)에서 각 반복값의 오차항을 해당 스텝 크기의 제곱근으로 스케일링한 연속 시간 궤적에 대해 분리형 함수 중심극한정리(FCLT)를 수립하며, 각 시간 척도의 극한 동역학이 표준 SA와 동일한 형태를 가짐을 증명한다. 마팅게일 문제(martingale problem) 접근법과 조밀성(tightness) 확립을 핵심 중간 단계로 활용하고, 빠른 시간 척도 갱신이 느린 시간 척도에 미치는 주된 영향을 제거하는 보조 수열을 새롭게 도입하여 강화학습의 actor-critic, TD learning 등 이중 시간 척도 알고리즘의 점근적 거동을 보다 정밀하게 특성화한다.
동차 심층 신경망(homogeneous DNN)에서 약한 정규화 기반의 지속 학습(continual learning)이 비볼록 마진 집합에 대한 순차적 투영(sequential projection)과 동치임을 이론적으로 증명하고, 기존 선형 모델 분석을 임의 깊이의 심층 모델로 일반화한다. 전역 수렴(global convergence)은 단순 모델에서도 보장되지 않음을 보이는 한편, 비볼록 투영 이론을 활용해 무작위·순환 태스크 순서 하에서의 국소 선형 수렴(local linear convergence) 조건을 규명하며 분류와 회귀를 아우르는 통합 프레임워크를 제시한다.
적응형 모멘텀 추정 알고리즘인 Adam은 반복당 낮은 계산 복잡도와 강력한 실증적 성능 덕분에 현대 머신러닝에서 널리 사용된다. 광범위하게 활용됨에도 불구하고, Adam의 이론적 기반은 시변(time-varying) 및 비정상(nonstationary) 시스템에 대해 대부분 미개척 상태로 남아 있다. 실제로 Adam 유형 알고리즘의 기존 이론적 분석은 주로 시불변(time-invariant) 모델 매개변수를 다루며, 독립 동일 분포(i.i.d.) 데이터 가정에 명시적 또는 묵시적으로 의존한다. 이 가정 하에서는 학습 과제가 정적 최소화 지점을 가진 고정된 기대 목적 함수를 최소화하는 문제로 정식화될 수 있다. 그러나 이러한 가정은 시변 및 비정상 시스템에서 종종 위반되므로, 기존의 이상화된 i.i.d. 환경을 넘어서는 이론적 탐구가 요구된다. 본 논문의 주요 목표는 시변 및 비정상 확률적 시스템을 위한 Adam의 일반 이론을 수립함으로써 이 어려운 문제를 해결하는 것이다. 우리는 Adam의 결합된 1차 및 2차 모멘텀 점화식(recursion)에 의해 유도되는 비정상적이고 종속적인 랜덤 행렬의 곱을 분석하기 위한 새로운 기법을 도입하고, 두 모멘텀 동역학을 결합하는 새로운 확률적 Lyapunov 함수를 구성한다. 비정상적이고 종속적인 데이터를 허용하는 확률적 여기(excitation) 조건 하에서, 매개변수 추적 및 출력 예측 오차 한계를 명시적으로 도출하여 스텝 크기, 1차 및 2차 모멘텀 매개변수, 그래디언트 잡음, 매개변수 드리프트의 영향을 정량화한다. 이러한 한계는 Adam 성능에 대한 보장을 제공할 뿐만 아니라 하이퍼파라미터 선택을 위한 지침도 제공한다. 합성 데이터와 실세계 데이터 모두에 대한 실험이 우리의 이론과 설계 지침을 검증한다.
mSGD의 고정 모멘텀 계수 문제를 해결하기 위해, 각 파라미터의 운동 에너지를 기반으로 개별 모멘텀 계수를 동적으로 조절하는 iKFAD와 3차 감쇠(cubic damping)를 결합한 최적화 기법 두 가지를 제안한다. ViT, BERT, GPT2 학습에서 Adam과 동등하거나 더 나은 성능을 달성하며 지수적 수렴을 이론적으로 입증한다.
LLM 사전학습에서 흔한 중(重)꼬리 확률적 그래디언트 노이즈 하에서 AdamW가 Lion·Muon 같은 부호 기반 옵티마이저와 같은 수렴률을 달성할 수 있는지를 미해결 문제로 공식화한다. 긍정적인 가중 메트릭(weighted-metric) 벤치마크를 증명하고, 2차 모멘트 분모 메모리가 큰 그래디언트를 가릴 수 있다는 회랑(corridor) 하한 메커니즘을 제시한다.
바이어스 보정을 포함한 원래 Adam 알고리즘에 대해 비매끄 비볼록 최적화에서의 최초 유한 시간 수렴 분석을 제시하며, 무작위 스케일링 학습률 하에서 $1/T^{2/13}$ 수렴률을 증명한다. heavy-tailed noise 영역에도 적용되며, 이론은 최근 경험적 연구와 맞는 $β_1=β_2$ 매개변수 선택 하에서 성립한다.
본 논문에서는 AdaGrad, RMSProp, Adam 최적화 알고리즘을 1차 적분-미분 방정식으로 모델링하여 연속 시간 공식을 제안한다. 이 방정식들에 대해 수치 시뮬레이션을 수행하고, 안정성 및 수렴(convergence) 분석을 통해 원본 알고리즘의 정확한 근사로서의 유효성을 입증한다. 실험 결과, 연속 시간 모델의 동작과 이산 구현 간의 높은 일치도를 확인하였으며, 이를 통해 적응형 최적화 방법의 이론적 이해에 새로운 관점을 제시한다.