arXiv:2606.28879v1 cs.LG

확률적 동적 시스템을 위한 Adam 알고리즘 분석

Analysis of Adam Algorithms for Stochastic Dynamic Systems

Xin Zheng, Yifei Jin, Lei Guo

제출 2026-06-27

한국어 초록

적응형 모멘텀 추정 알고리즘인 Adam은 반복당 낮은 계산 복잡도와 강력한 실증적 성능 덕분에 현대 머신러닝에서 널리 사용된다. 광범위하게 활용됨에도 불구하고, Adam의 이론적 기반은 시변(time-varying) 및 비정상(nonstationary) 시스템에 대해 대부분 미개척 상태로 남아 있다. 실제로 Adam 유형 알고리즘의 기존 이론적 분석은 주로 시불변(time-invariant) 모델 매개변수를 다루며, 독립 동일 분포(i.i.d.) 데이터 가정에 명시적 또는 묵시적으로 의존한다. 이 가정 하에서는 학습 과제가 정적 최소화 지점을 가진 고정된 기대 목적 함수를 최소화하는 문제로 정식화될 수 있다. 그러나 이러한 가정은 시변 및 비정상 시스템에서 종종 위반되므로, 기존의 이상화된 i.i.d. 환경을 넘어서는 이론적 탐구가 요구된다. 본 논문의 주요 목표는 시변 및 비정상 확률적 시스템을 위한 Adam의 일반 이론을 수립함으로써 이 어려운 문제를 해결하는 것이다. 우리는 Adam의 결합된 1차 및 2차 모멘텀 점화식(recursion)에 의해 유도되는 비정상적이고 종속적인 랜덤 행렬의 곱을 분석하기 위한 새로운 기법을 도입하고, 두 모멘텀 동역학을 결합하는 새로운 확률적 Lyapunov 함수를 구성한다. 비정상적이고 종속적인 데이터를 허용하는 확률적 여기(excitation) 조건 하에서, 매개변수 추적 및 출력 예측 오차 한계를 명시적으로 도출하여 스텝 크기, 1차 및 2차 모멘텀 매개변수, 그래디언트 잡음, 매개변수 드리프트의 영향을 정량화한다. 이러한 한계는 Adam 성능에 대한 보장을 제공할 뿐만 아니라 하이퍼파라미터 선택을 위한 지침도 제공한다. 합성 데이터와 실세계 데이터 모두에 대한 실험이 우리의 이론과 설계 지침을 검증한다.

원문 초록

The adaptive moment estimation algorithm, known as Adam, is widely used in modern machine learning, owing to its low per-iteration complexity and strong empirical performance. Despite its prevalent use, the theoretical foundation of Adam remains largely unexplored for time-varying and nonstationary systems. In fact, the existing theoretical analyses of Adam-type algorithms are primarily concerned with time-invariant model parameters and explicitly or implicitly rely on independent and identically distributed (i.i.d.) data assumptions, under which the learning taskcan be formulated as minimizing a fixed expected objective with a static minimizer. However, such assumptions are often violated in time-varying and nonstationary systems, thereby calling for a theoretical investigation beyond the conventional yet idealized i.i.d. setting. The main objective of this paper is to solve this challenging problem by establishing a general theory of Adam for time-varying and nonstationary stochastic systems. We will introduce some new techniques for analyzing the products of nonstationary and dependent random matrices induced by Adam's coupled first- and second-moment recursions, and will construct a new stochastic Lyapunov function that blends these two moment dynamics. Under a stochastic excitation condition that allows nonstationary and dependent data, we will derive both parameter tracking and output prediction error bounds explicitly, quantifying the effects of stepsize, first- and second-momentum parameters, gradient noise and parameter drift. These bounds not only provide guarantees for Adam performance, but also provide guidelines for hyperparameter selection. Experiments on both synthetic and real-world data validate our theory and design guidelines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28879v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09745v2cs.AI공통 태그 Time Series, Stochastic Optimization

SupplyNetPy: 임의 공급망 및 재고 네트워크의 고충실도 모델링과 시뮬레이션을 위한 오픈소스 Python 라이브러리

SupplyNetPy: An Open-Source Python Library for High-Fidelity Modeling and Simulation of Arbitrary Supply Chain and Inventory Networks

본 논문은 임의의 다단계 구조를 갖는 공급망 네트워크의 모델링 및 이산 사건 시뮬레이션을 위한 오픈소스 Python 라이브러리인 SupplyNetPy를 소개한다. 이 라이브러리는 다양한 보충 정책, 부패 가능 재고, 노드(node) 장애, 확률적 수요 및 리드 타임을 지원한다. 모든 컴포넌트는 상속을 통해 확장 가능하다. 사용자는 노드와 링크 속성을 가진 그래프로 공급망을 기술하며, 라이브러리는 시뮬레이션을 처리하고 로그 및 노드·네트워크 수준의 상세 성능 보고서를 제공한다. 본 논문은 SupplyNetPy의 개발 동기, 설계, 주요 기능, 아키텍처와 함께 상세한 검증(validation) 결과(분석적 벤치마크, 상용 도구, 발표된 사례 연구와의 비교)를 제시한다. SupplyNetPy 개발의 핵심 동기는 복잡한 모델의 프로그래밍 방식 생성 및 시뮬레이션으로, 설계 공간 탐험(exploration), 가상 시나리오 분석, 학습(training) 데이터 생성, 공급망 디지털 트윈을 가능하게 하는 데 있다.

arXiv:2608.20638v2cs.LG공통 태그 Stochastic Optimization, adam optimizer

안정성의 한계(Edge of Stability)에 선 Adam: 적응형 피드백, 증명 가능한 진동, 그리고 그래디언트 반전

Adam at the Edge of Stability: Adaptive Feedback, Provable Oscillation, and Gradient Reversal

풀배치(full-batch) Adam에서 나타나는 안정성의 한계(Edge of Stability, EoS) 현상은 널리 관찰되어 왔지만, 그 기저에 있는 동역학적 메커니즘은 여전히 명확히 이해되지 않았습니다. 본 논문에서는 Adam의 2차 모멘트 적응을 동역학을 안정성 경계로 이끄는 음의 피드백 메커니즘으로 규명합니다. 우리는 이러한 메커니즘을 사전조건화된 그래디언트 방향을 따른 사전조건화된 곡률인 *활성 곡률(active curvature)*을 통해 규정하며, 점진적으로 확장되는 설정에서 엄밀한 특성화를 확립합니다: 모멘텀이 포함된 랭크-1 2차 함수, 활성 곡률이 선명도(sharpness)와 분리되는 대각 2차 함수, 그리고 일반적인 목적 함수. 중요한 점은, 이 메커니즘이 한계 부근에서 풀배치 Adam의 *그래디언트 반전(gradient reversal)*을 예측한다는 것입니다. 즉, 완전 연결 신경망, ResNet, ViT, LSTM, GPT-2 medium, 그리고 Adam 계열 옵티마이저 전반에서 관찰되는 것처럼 연속된 그래디언트가 반복적으로 거의 반대 방향을 가리키게 됩니다. 이러한 양상과 일치하게, 반복값(iterates)을 평균화하면 이러한 빠른 진동이 억제되고 더 매끄럽고 낮은 손실 곡선이 생성됩니다. 종합적으로, 이러한 결과들은 활성 곡률과 그래디언트 반전을 통해 Adam의 EoS 동역학적 동작을 완전히 이해하기 위한 중요한 첫걸음을 제공합니다.

arXiv:2607.08104v2cs.LG공통 태그 Stochastic Optimization, convergence analysis

바닐라 SGD와 모멘텀은 헤비테일 노이즈에서도 수렴한다: 그래디언트 클리핑 또는 정규화 없는 수렴 분석

Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization

확률적 경사하강법(SGD)은 현대 최적화의 핵심 기법이다. 헤비테일 노이즈 환경에서의 성능은 흔히 그래디언트 클리핑이나 정규화와 같은 특수한 변형을 통해 다루어지지만, 본 연구는 보다 근본적인 질문을 탐구한다: 바닐라 SGD, 특히 모멘텀을 적용한 경우, 헤비테일 노이즈가 존재할 때 어떻게 동작하는가? 본 논문에서는 바닐라 SGD의 기존 수렴 결과를 개선하고, 더 나아가 어떠한 그래디언트 제어 메커니즘도 사용하지 않고 강볼록(strongly convex), 볼록(convex), 비볼록(nonconvex) 목적함수에 대한 모멘텀을 갖춘 바닐라 SGD의 최초의 포괄적인 수렴 분석을 제공한다. 분석 결과, 도출된 수렴 속도는 클리핑 또는 정규화 변형 SGD가 달성하는 최적 속도보다 열등함을 보이며, 이를 통해 헤비테일 노이즈 환경에서 바닐라 방법이 갖는 본질적인 한계를 밝힌다. 이론적 결과는 합성 함수에 대한 실험을 통해 뒷받침된다.

arXiv:2607.22211v1math.NA공통 태그 Stochastic Optimization, convergence analysis

폐루프 생성 선택: 수렴, 메모리, 그리고 노이즈 오라클

Closed-Loop Generative Selection: Convergence, Memory, and Noisy Oracles

폐루프 생성 선택은 계산 약물 발견의 핵심 방법이 되었다. 학습된 생성 모델이 후보 분자를 제안하고, 적합도(fitness) 오라클이 이를 점수화하며, 최상의 후보들이 유지된 뒤 다음 라운드 전에 모델이 이 엘리트 집합으로 재학습된다. 널리 사용됨에도 불구하고, 이 방법은 엄밀한 수렴 이론이 부족했다. 이는 주로 매 라운드마다 모델을 재학습하면 고전적 진화 알고리즘 분석이 의존하는 마르코프(Markov) 성질이 깨지기 때문이다. 우리는 이 클래스의 알고리즘에 대한 자급자족적인 수렴 이론과 기대 실행 시간 이론을 개발한다. 확장된 상태 공간에서 마르코프 구조를 복원함으로써, 엘리티즘(elitism)이 탐색을 흡수(absorbing)하게 만든다는 것을 보이고, 거의 확실(almost-sure) 수렴과 함께 탐색을 각 적합도 수준을 탈출하는 데 소요된 시간으로 분해하는 실행 시간 상한을 증명한다. 그런 다음 모델의 메모리—과거 데이터 중 얼마나 많은 부분으로 학습하는지—의 역할을 분석한다. 학습이 더 많은 데이터로 꾸준히 개선될 때, 더 깊은 메모리는 결코 해가 되지 않는다. 그렇지 않을 때, 탈출 시간(exit-time) 분석은 최적 메모리 깊이를 특정하고, 과도한 메모리가 실제로 수렴을 느리게 할 수 있음을 보인다. 이론은 다목적 탐색과 노이즈 오라클로 확장된다. 경꼬리(light-tailed) 노이즈 하에서 몇 번의 반복 평가가 진행을 보증하는지, 그리고 견고(robust) 추정량이 중괄꼬리(heavy-tailed) 하에서 보장을 어떻게 복원하는지를 정량화한다. 약물 설계의 진정한 병목인 오라클 평가의 관점에서 재구성하면, 분석은 구체적이고 평가를 최소화하는 전략을 제공한다. 재현 가능한 연구가 예측을 확인하며, 여기에는 과도한 메모리의 놀라운 비용도 포함된다. 우리는 세 가지 미해결 문제로 마무리한다.

arXiv:2607.14516v1cs.LG공통 태그 Stochastic Optimization, adam optimizer

적응형 Runge-Kutta 스텝 제어가 사는 것은 학습 손실이지 일반화가 아니다: RK-Adam 옵티마이저에 대한 정직한 연산량 맞춤 연구

Adaptive Runge-Kutta Step Control Buys Training Loss, Not Generalization: An Honest Compute-Matched Study of RK-Adam Optimizers

옵티마이저를 그래디언트 흐름(gradient flow) 이산화로 해석하는 관점은 신경망에 고차 Runge-Kutta(RK) 적분기를 적용하도록 동기를 부여해 왔다. 우리는 대표적인 Adam 변형(Bogacki-Shampine 3(2) RK 쌍, FSAL 재사용, 국소 오차 스텝 제어)을 구축하고, 모든 방법에 동일한 그래디언트 평가 예산을 부여하는 엄격한 연산량 맞춤 프로토콜 하에서 이를 평가한다—이 문헌에서는 거의 강제하지 않는 회계 방식이다. 이 프로토콜 하에서 RK 변형은 미니배치 및 전체 배치(RK의 최선의 경우) 학습 모두에서 평범한 Adam보다 학습 손실에서 뒤진다. 이를 계측하면 "적응성"은 실제로는 환상임을 보여준다: 정규화된 오차는 허용 오차(tolerance)보다 훨씬 낮게 유지되고, 스텝 크기는 첫 스텝부터 성장 상한에 고정되며(전체 스텝의 98–100%), 어떤 rtol × hmax × h0 설정도 이를 작동시키지 못한다; 100배에 걸친 허용 오차는 비트 수준에서 동일한 궤적을 낸다. 이 방법은 정확히는 평균 그래디언트를 사용한 고정 스텝 Adam이며 3–4배의 비용이 든다. 이를 수정하면(실제 거부(reject) 분기; 적용된 맵에 대한 오차) 전체 배치 결과가 뒤집혀—튜닝된 Adam보다 약 40배 낮은 학습 손실—고, 고정 스텝 제어는 적응성(창발적(emergent) 워밍업 및 성장 스케줄)을 그 메커니즘으로 분리한다. 그러나 이러한 이득은 초기 스텝 크기에 취약하며 테스트 정확도에는 이르지 못한다. 사전 등록(pre-registered) 후속 연구는 명백한 설명들을 배제한다: 더 깊은 최소화는 과적합을 일으키지 않으며, 명시적 온도(temperature) 조절만 오히려 해롭다—궤적 효과만 남는데, 컨트롤러가 동일 깊이에서 1차 하강법(first-order descent)보다 1.3–3.4포인트 낮게 일반화하는 최소점을 선택한다. n=10 연구는 하나의 2차 효과를 확인한다: 그래디언트 평균화는 진정한 암묵적 정규화(regularizer)이며, 10/10 시드에서 학습률(lr) 맞춤 Adam 및 AdamW를 이긴다—그러나 RMSprop과 NAdam은 스텝당 비용의 3분의 1로 맞먹거나 더 낫다. 고차 적응형 적분은 더 깊은 결정론적 최소화와 작은 정규화 효과를 얻지만, 더 저렴하고 잘 튜닝된 1차 기준선(baseline)이 이미 제공하지 않는 것은 없다.

arXiv:2607.14731v1cs.LG공통 태그 Stochastic Optimization, convergence analysis

평활성 상수에는 무엇이 담겨 있는가? 유계 2차 이종성 하 Local SGD의 더 정밀한 수렴률

What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity

Local SGD(연합 평균화(Federated Averaging)로도 알려짐)는 널리 사용되는 분산 최적화(optimization) 알고리즘이다. Local SGD는 실무에서 미니배치 SGD와 같은 대안들보다 종종 더 나은 성능을 보이지만, 이론은 현실적인 데이터 이종성 하에서 로컬 업데이트가 언제·왜 도움이 되는지를 여전히 부분적으로만 설명한다. [Patel et al., 2025]의 최근 연구는 유계 2차 이종성 가정이 강볼록 목적함수에 대한 Local SGD의 효율을 포착한다는 것을 보여 주며, 동일한 원리가 일반 볼록 설정으로 확장된다고 추측한다. 본 논문에서는 유계 2차 이종성 하 일반 볼록 목적함수에 대한 Local SGD의 개선된 수렴 보장을 확립함으로써 이 추측을 증명한다. 또한 이 설정에서 Local SGD에 대한 알려진 최선의 하한을 개선하여, 우리의 상한이 거의 tight함을 보인다. 이러한 결과를 종합하면 Local SGD에 대한 더 날카롭고 세밀한 수렴 이론이 제공된다. 기법의 추가 적용으로, 치환을 사용한 순차 SGD에 대한 하한을 제시하여 2차 이종성이 드문 고곡률(high-curvature) 클라이언트의 영향을 어떻게 포착하는지 보여 준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.