대규모 언어 모델(LLM)의 사전학습 과정에서 발생하는 간헐적인 손실(loss) '스파이크'는 이론적으로나 실증적으로 여전히 규명되지 않은 현상으로 남아 있습니다. 본 논문에서는 꼬리가 두꺼운 거듭제곱 법칙(power-law) 분포를 따르는 입력을 갖는 단순한 이차(quadratic) 모델이 이러한 스파이크를 재현할 수 있음을 보여줍니다. 저자들은 이러한 이차 모델을 사용하여 심층 신경망(DNN)의 층별 학습 역학을 모델링하는 이론적 프레임워크와 시뮬레이션 알고리즘을 제안합니다. 트랜스포머 언어 모델에서 스파이크를 유발하는 것으로 알려진 Adam 하이퍼파라미터 설정($β_2$를 1에 가깝게 설정)에 대한 사례 연구에서, 제안된 시뮬레이션은 주어진 체크포인트로부터 스파이크 거동을 나타내는 돌출(bump)을 성공적으로 예측합니다. 나아가 관측된 지표로부터 적절한 $β_2$ 스케줄을 도출하였으며, 이는 실증적으로 성능을 향상시킵니다.
다중 목적 최적화(MOO)는 수많은 머신러닝 문제의 기반을 이루지만, 손실 균형(loss-balancing), 그래디언트 균형(gradient-balancing), 파레토(Pareto) 기반 계열 전반의 MOO 솔버들은 절충된 방향 벡터를 거의 예외 없이 Adam~\citep{kingma2015adam}에 전달합니다. 본 논문에서는 이러한 결합으로 인해 솔버의 의도와 옵티마이저의 실행 사이에 두 가지 구조적 괴리가 발생함을 보입니다. 첫 번째는 가중치 불일치(weighting mismatch)입니다. Adam의 2차 모멘트 분모는 시간에 따라 변하는 선호도(preference) 벡터와 그래디언트 통계량을 뒤엉키게 만들어, 선호도를 과거 이력의 평균으로 한계화하고 서로 다른 파레토 절충안들을 거의 균일한 혼합 상태로 수렴시켜 버립니다. 두 번째는 기하학적 불일치(geometric mismatch)입니다. Adam의 적응형 메트릭은 MOO 솔버가 가정하는 유클리드 기하학을 왜곡하여, 정렬된 목적들을 표면상 충돌하는 것처럼 변형시킵니다. 이 두 문제를 동시에 해결하기 위해, 솔버와 옵티마이저를 전혀 변경하지 않고 그대로 사용할 수 있는 드롭인 래퍼(drop-in wrapper)인 MAdam(Metric-Aware Multi-Objective Adam)을 제안합니다. MAdam은 스칼라화된 목적 함수의 선호도 조건부 곡률(curvature)로 절충된 방향을 사전조건화(preconditioning)합니다. 이처럼 백색화(whitening)된 입력에서 Adam의 2차 모멘트는 단위행렬로 단순화되므로, 실제 반영되는 업데이트는 선호도 조건부 메트릭에 의해 제어됩니다. 멀티태스크 학습, 파레토 전선 복원, 물리 정보 신경망(PINN), 의료 영상 전반에 걸쳐 MAdam은 모든 솔버 계열에 대해 전반적으로 Adam 대비 성능을 향상시킵니다. 코드는 https://github.com/lfb-1/MAdam 에서 제공됩니다.
풀배치(full-batch) Adam에서 나타나는 안정성의 한계(Edge of Stability, EoS) 현상은 널리 관찰되어 왔지만, 그 기저에 있는 동역학적 메커니즘은 여전히 명확히 이해되지 않았습니다. 본 논문에서는 Adam의 2차 모멘트 적응을 동역학을 안정성 경계로 이끄는 음의 피드백 메커니즘으로 규명합니다. 우리는 이러한 메커니즘을 사전조건화된 그래디언트 방향을 따른 사전조건화된 곡률인 *활성 곡률(active curvature)*을 통해 규정하며, 점진적으로 확장되는 설정에서 엄밀한 특성화를 확립합니다: 모멘텀이 포함된 랭크-1 2차 함수, 활성 곡률이 선명도(sharpness)와 분리되는 대각 2차 함수, 그리고 일반적인 목적 함수. 중요한 점은, 이 메커니즘이 한계 부근에서 풀배치 Adam의 *그래디언트 반전(gradient reversal)*을 예측한다는 것입니다. 즉, 완전 연결 신경망, ResNet, ViT, LSTM, GPT-2 medium, 그리고 Adam 계열 옵티마이저 전반에서 관찰되는 것처럼 연속된 그래디언트가 반복적으로 거의 반대 방향을 가리키게 됩니다. 이러한 양상과 일치하게, 반복값(iterates)을 평균화하면 이러한 빠른 진동이 억제되고 더 매끄럽고 낮은 손실 곡선이 생성됩니다. 종합적으로, 이러한 결과들은 활성 곡률과 그래디언트 반전을 통해 Adam의 EoS 동역학적 동작을 완전히 이해하기 위한 중요한 첫걸음을 제공합니다.
많은 지속 학습(continual learning) 방법은 투영(projection), 페널티 재조정(penalty rescaling), 리플레이 혼합(replay mixing) 등과 같이 상류에서 그래디언트를 수정하면서 Adam을 중립적인 백엔드로 취급한다. 우리는 이 조합에 숨겨진 실패 모드가 있음을 보인다. 고중첩(high-overlap), 비적응형 8-도메인 지속 LM에서, 공유 라우팅 투영 기준선은 모두 바닐라 망각에 근접하게 붕괴한다(12.5–12.8 대 13.2). 0.5% 리플레이 버퍼가 가장 강한 공유 대안이지만 여전히 11.6에 도달하며, 고정 강도 분리는 14.1로 바닐라보다 낮게 떨어진다. 적응형 분리 라우팅만이 9.4에서 안정적으로 유지되며, 바닐라 대비 3.8 단위 개선을 달성한다. 16-도메인 스트림에서는 가장 강한 공유 라우팅 투영 기준선 대비 이득이 4.5–4.8 단위로 커진다. 이 실패는 깨끗한 벤치마크에서는 대부분 드러나지 않는다. 우리는 Adam의 2차 모멘트 경로를 통해 이 효과를 설명한다. 시험된 체제에서 투영은 이전 방향의 유효 학습률에 1/(1-alpha) 팽창을 유발하며, 8개 alpha 값에 걸쳐 측정값과 8% 이내로 일치한다. 동일한 충돌은 페널티 방법, 리플레이 혼합, LoRA 하 7B 규모에서도 나타난다. 우리의 수정은 수정된 그래디언트를 1차 모멘트에만 라우팅하면서 크기에 충실한 2차 모멘트 통계를 보존하고, 중첩 인식 적응형 강도를 적용한다. 이 단순한 변경은 방법, 옵티마이저, 규모 전반에 걸쳐 일관되게 붕괴를 피하는 유일한 시험된 구성이다.
이 논문은 Adam에서 2차 모멘트 추정치의 지수 감쇠 메커니즘을 연구한다. 우리는 AdamNX와, 업데이트 스케일에 적용되는 보정을 점진적으로 약화시키는 시간 가변 2차 모멘트 감쇠율을 제안한다. 우리 분석에서 사용한 가정 하에서, 이 메커니즘은 학습 정체(plateau) 단계 동안 업데이트가 모멘텀-SGD와 유사한 거동에 접근하게 만든다. 이 논문에 포함된 이미지 분류, 객체 탐지, 의미 분할 작업, 구성, 및 비교 대상에 대한 결과를 보고한다. 이 결과는 보고된 작업을 넘어서는 다중 시드 통계적 효과, 평탄성(flatness), 또는 일반화(generalization)를 입증하지는 않는다. 우리 코드는 https://github.com/mengzhu0308/AdamNX 에서 오픈소스로 공개되어 있다.
옵티마이저를 그래디언트 흐름(gradient flow) 이산화로 해석하는 관점은 신경망에 고차 Runge-Kutta(RK) 적분기를 적용하도록 동기를 부여해 왔다. 우리는 대표적인 Adam 변형(Bogacki-Shampine 3(2) RK 쌍, FSAL 재사용, 국소 오차 스텝 제어)을 구축하고, 모든 방법에 동일한 그래디언트 평가 예산을 부여하는 엄격한 연산량 맞춤 프로토콜 하에서 이를 평가한다—이 문헌에서는 거의 강제하지 않는 회계 방식이다. 이 프로토콜 하에서 RK 변형은 미니배치 및 전체 배치(RK의 최선의 경우) 학습 모두에서 평범한 Adam보다 학습 손실에서 뒤진다. 이를 계측하면 "적응성"은 실제로는 환상임을 보여준다: 정규화된 오차는 허용 오차(tolerance)보다 훨씬 낮게 유지되고, 스텝 크기는 첫 스텝부터 성장 상한에 고정되며(전체 스텝의 98–100%), 어떤 rtol × hmax × h0 설정도 이를 작동시키지 못한다; 100배에 걸친 허용 오차는 비트 수준에서 동일한 궤적을 낸다. 이 방법은 정확히는 평균 그래디언트를 사용한 고정 스텝 Adam이며 3–4배의 비용이 든다. 이를 수정하면(실제 거부(reject) 분기; 적용된 맵에 대한 오차) 전체 배치 결과가 뒤집혀—튜닝된 Adam보다 약 40배 낮은 학습 손실—고, 고정 스텝 제어는 적응성(창발적(emergent) 워밍업 및 성장 스케줄)을 그 메커니즘으로 분리한다. 그러나 이러한 이득은 초기 스텝 크기에 취약하며 테스트 정확도에는 이르지 못한다. 사전 등록(pre-registered) 후속 연구는 명백한 설명들을 배제한다: 더 깊은 최소화는 과적합을 일으키지 않으며, 명시적 온도(temperature) 조절만 오히려 해롭다—궤적 효과만 남는데, 컨트롤러가 동일 깊이에서 1차 하강법(first-order descent)보다 1.3–3.4포인트 낮게 일반화하는 최소점을 선택한다. n=10 연구는 하나의 2차 효과를 확인한다: 그래디언트 평균화는 진정한 암묵적 정규화(regularizer)이며, 10/10 시드에서 학습률(lr) 맞춤 Adam 및 AdamW를 이긴다—그러나 RMSprop과 NAdam은 스텝당 비용의 3분의 1로 맞먹거나 더 낫다. 고차 적응형 적분은 더 깊은 결정론적 최소화와 작은 정규화 효과를 얻지만, 더 저렴하고 잘 튜닝된 1차 기준선(baseline)이 이미 제공하지 않는 것은 없다.
임의의 모멘트 감쇠 파라미터 β₁,β₂∈[0,1)에 대해 프로젝션 Adam이 평균 후회(regret)가 0으로 수렴하지 않는 반례를 균일하게 유계된 기울기 조건 하에서 구성함으로써, 기존 Reddi-Kale-Kumar(2018)의 결과가 요구하던 β₁<√β₂ 제약을 제거하였다. 이 비수렴 결과는 AdamW, RMSProp, NAdam, Adan, AdaMax, Muon 등 주요 Adam 변형들에도 동일하게 확장된다.
적응형 모멘텀 추정 알고리즘인 Adam은 반복당 낮은 계산 복잡도와 강력한 실증적 성능 덕분에 현대 머신러닝에서 널리 사용된다. 광범위하게 활용됨에도 불구하고, Adam의 이론적 기반은 시변(time-varying) 및 비정상(nonstationary) 시스템에 대해 대부분 미개척 상태로 남아 있다. 실제로 Adam 유형 알고리즘의 기존 이론적 분석은 주로 시불변(time-invariant) 모델 매개변수를 다루며, 독립 동일 분포(i.i.d.) 데이터 가정에 명시적 또는 묵시적으로 의존한다. 이 가정 하에서는 학습 과제가 정적 최소화 지점을 가진 고정된 기대 목적 함수를 최소화하는 문제로 정식화될 수 있다. 그러나 이러한 가정은 시변 및 비정상 시스템에서 종종 위반되므로, 기존의 이상화된 i.i.d. 환경을 넘어서는 이론적 탐구가 요구된다. 본 논문의 주요 목표는 시변 및 비정상 확률적 시스템을 위한 Adam의 일반 이론을 수립함으로써 이 어려운 문제를 해결하는 것이다. 우리는 Adam의 결합된 1차 및 2차 모멘텀 점화식(recursion)에 의해 유도되는 비정상적이고 종속적인 랜덤 행렬의 곱을 분석하기 위한 새로운 기법을 도입하고, 두 모멘텀 동역학을 결합하는 새로운 확률적 Lyapunov 함수를 구성한다. 비정상적이고 종속적인 데이터를 허용하는 확률적 여기(excitation) 조건 하에서, 매개변수 추적 및 출력 예측 오차 한계를 명시적으로 도출하여 스텝 크기, 1차 및 2차 모멘텀 매개변수, 그래디언트 잡음, 매개변수 드리프트의 영향을 정량화한다. 이러한 한계는 Adam 성능에 대한 보장을 제공할 뿐만 아니라 하이퍼파라미터 선택을 위한 지침도 제공한다. 합성 데이터와 실세계 데이터 모두에 대한 실험이 우리의 이론과 설계 지침을 검증한다.
바이어스 보정을 포함한 원래 Adam 알고리즘에 대해 비매끄 비볼록 최적화에서의 최초 유한 시간 수렴 분석을 제시하며, 무작위 스케일링 학습률 하에서 $1/T^{2/13}$ 수렴률을 증명한다. heavy-tailed noise 영역에도 적용되며, 이론은 최근 경험적 연구와 맞는 $β_1=β_2$ 매개변수 선택 하에서 성립한다.
전처리, 모멘텀, 가중치 감소를 결합한 적응형 옵티마이저(Adam 및 AdamW)는 Polyak-Ruppert 평균화 하에서 원패스 추론을 위한 후보 엔진입니다. 모멘텀과 수렴하지 않는 전처리 하에서 평균화된 반복점은 샌드위치 공분산 $H^{-1}SH^{-1}$ (헤시안 $H$, 그래디언트 공분산 $S$)을 갖는 고전적인 Polyak-Ruppert 중심극한정리(CLT)를 유지합니까? 전처리기만을 분석한 결과는 그대로 적용되지 않습니다: 모멘텀이 있으면 표준 분해가 동어반복으로 붕괴됩니다. 확장된 상태(반복점, 모멘텀 버퍼)를 시변 선형 확률적 근사(SA)로 처리하여, 우리는 (국소적 안정화 하에서) 양의 드리프트 안정성, 비자율적 Polyak-Ruppert CLT, 그리고 투영 항등식을 증명합니다. 결과적으로, 반복점의 주변 공분산은 일반적인 확률적 경사하강법(SGD) 샌드위치 $H^{-1}SH^{-1}$과 정확히 일치하므로, 적응성은 점근적으로 보이지 않게 됩니다. 이는 상수 $\beta$를 사용하는 배포된 Adam이 아니라 SA-Adam(준선형적으로 사라지는 모멘텀 이득, $γ\in(α,1)$; 준선형 영역이 필수적임)에 대해 성립합니다. 결합된 $L_2$ 가중치 감소는 능형 페널티가 적용된 샌드위치를 산출하며, 이를 통해 원패스 추론을 정규화된 문제로 확장합니다.