PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2411.09734v3cs.LG공식 코드 · Papers with Code

적분-미분 방정식으로 AdaGrad, RMSProp, Adam 모델링

Modeling AdaGrad, RMSProp, and Adam with Integro-Differential Equations

본 논문에서는 AdaGrad, RMSProp, Adam 최적화 알고리즘을 1차 적분-미분 방정식으로 모델링하여 연속 시간 공식을 제안한다. 이 방정식들에 대해 수치 시뮬레이션을 수행하고, 안정성 및 수렴(convergence) 분석을 통해 원본 알고리즘의 정확한 근사로서의 유효성을 입증한다. 실험 결과, 연속 시간 모델의 동작과 이산 구현 간의 높은 일치도를 확인하였으며, 이를 통해 적응형 최적화 방법의 이론적 이해에 새로운 관점을 제시한다.