이중 시간 척도 확률적 근사(two-time-scale SA)에서 각 반복값의 오차항을 해당 스텝 크기의 제곱근으로 스케일링한 연속 시간 궤적에 대해 분리형 함수 중심극한정리(FCLT)를 수립하며, 각 시간 척도의 극한 동역학이 표준 SA와 동일한 형태를 가짐을 증명한다. 마팅게일 문제(martingale problem) 접근법과 조밀성(tightness) 확립을 핵심 중간 단계로 활용하고, 빠른 시간 척도 갱신이 느린 시간 척도에 미치는 주된 영향을 제거하는 보조 수열을 새롭게 도입하여 강화학습의 actor-critic, TD learning 등 이중 시간 척도 알고리즘의 점근적 거동을 보다 정밀하게 특성화한다.
전처리, 모멘텀, 가중치 감소를 결합한 적응형 옵티마이저(Adam 및 AdamW)는 Polyak-Ruppert 평균화 하에서 원패스 추론을 위한 후보 엔진입니다. 모멘텀과 수렴하지 않는 전처리 하에서 평균화된 반복점은 샌드위치 공분산 $H^{-1}SH^{-1}$ (헤시안 $H$, 그래디언트 공분산 $S$)을 갖는 고전적인 Polyak-Ruppert 중심극한정리(CLT)를 유지합니까? 전처리기만을 분석한 결과는 그대로 적용되지 않습니다: 모멘텀이 있으면 표준 분해가 동어반복으로 붕괴됩니다. 확장된 상태(반복점, 모멘텀 버퍼)를 시변 선형 확률적 근사(SA)로 처리하여, 우리는 (국소적 안정화 하에서) 양의 드리프트 안정성, 비자율적 Polyak-Ruppert CLT, 그리고 투영 항등식을 증명합니다. 결과적으로, 반복점의 주변 공분산은 일반적인 확률적 경사하강법(SGD) 샌드위치 $H^{-1}SH^{-1}$과 정확히 일치하므로, 적응성은 점근적으로 보이지 않게 됩니다. 이는 상수 $\beta$를 사용하는 배포된 Adam이 아니라 SA-Adam(준선형적으로 사라지는 모멘텀 이득, $γ\in(α,1)$; 준선형 영역이 필수적임)에 대해 성립합니다. 결합된 $L_2$ 가중치 감소는 능형 페널티가 적용된 샌드위치를 산출하며, 이를 통해 원패스 추론을 정규화된 문제로 확장합니다.