모멘텀과 수렴하지 않는 적응형 전처리를 갖는 SA-Adam을 위한 Polyak-Ruppert 중심극한정리
A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning
전처리, 모멘텀, 가중치 감소를 결합한 적응형 옵티마이저(Adam 및 AdamW)는 Polyak-Ruppert 평균화 하에서 원패스 추론을 위한 후보 엔진입니다. 모멘텀과 수렴하지 않는 전처리 하에서 평균화된 반복점은 샌드위치 공분산 $H^{-1}SH^{-1}$ (헤시안 $H$, 그래디언트 공분산 $S$)을 갖는 고전적인 Polyak-Ruppert 중심극한정리(CLT)를 유지합니까? 전처리기만을 분석한 결과는 그대로 적용되지 않습니다: 모멘텀이 있으면 표준 분해가 동어반복으로 붕괴됩니다. 확장된 상태(반복점, 모멘텀 버퍼)를 시변 선형 확률적 근사(SA)로 처리하여, 우리는 (국소적 안정화 하에서) 양의 드리프트 안정성, 비자율적 Polyak-Ruppert CLT, 그리고 투영 항등식을 증명합니다. 결과적으로, 반복점의 주변 공분산은 일반적인 확률적 경사하강법(SGD) 샌드위치 $H^{-1}SH^{-1}$과 정확히 일치하므로, 적응성은 점근적으로 보이지 않게 됩니다. 이는 상수 $\beta$를 사용하는 배포된 Adam이 아니라 SA-Adam(준선형적으로 사라지는 모멘텀 이득, $γ\in(α,1)$; 준선형 영역이 필수적임)에 대해 성립합니다. 결합된 $L_2$ 가중치 감소는 능형 페널티가 적용된 샌드위치를 산출하며, 이를 통해 원패스 추론을 정규화된 문제로 확장합니다.