모멘텀과 수렴하지 않는 적응형 전처리를 갖는 SA-Adam을 위한 Polyak-Ruppert 중심극한정리
A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning
한국어 초록
전처리, 모멘텀, 가중치 감소를 결합한 적응형 옵티마이저(Adam 및 AdamW)는 Polyak-Ruppert 평균화 하에서 원패스 추론을 위한 후보 엔진입니다. 모멘텀과 수렴하지 않는 전처리 하에서 평균화된 반복점은 샌드위치 공분산 $H^{-1}SH^{-1}$ (헤시안 $H$, 그래디언트 공분산 $S$)을 갖는 고전적인 Polyak-Ruppert 중심극한정리(CLT)를 유지합니까? 전처리기만을 분석한 결과는 그대로 적용되지 않습니다: 모멘텀이 있으면 표준 분해가 동어반복으로 붕괴됩니다. 확장된 상태(반복점, 모멘텀 버퍼)를 시변 선형 확률적 근사(SA)로 처리하여, 우리는 (국소적 안정화 하에서) 양의 드리프트 안정성, 비자율적 Polyak-Ruppert CLT, 그리고 투영 항등식을 증명합니다. 결과적으로, 반복점의 주변 공분산은 일반적인 확률적 경사하강법(SGD) 샌드위치 $H^{-1}SH^{-1}$과 정확히 일치하므로, 적응성은 점근적으로 보이지 않게 됩니다. 이는 상수 $\beta$를 사용하는 배포된 Adam이 아니라 SA-Adam(준선형적으로 사라지는 모멘텀 이득, $γ\in(α,1)$; 준선형 영역이 필수적임)에 대해 성립합니다. 결합된 $L_2$ 가중치 감소는 능형 페널티가 적용된 샌드위치를 산출하며, 이를 통해 원패스 추론을 정규화된 문제로 확장합니다.
원문 초록
Adaptive optimizers combining preconditioning, momentum, and weight decay (Adam and AdamW) are, under Polyak-Ruppert averaging, candidate engines for one-pass inference. Does the averaged iterate keep the classical Polyak-Ruppert central limit theorem (CLT), with sandwich covariance $H^{-1}SH^{-1}$ (Hessian $H$, gradient covariance $S$), under momentum and non-convergent preconditioning? The preconditioner-only analysis does not carry over: with momentum the canonical decomposition collapses to a tautology. Treating the augmented state (iterate, momentum buffer) as a time-varying linear stochastic approximation (SA), we prove (under local stabilization) positive drift stability, a non-autonomous Polyak-Ruppert CLT, and a projection identity. The upshot: the iterate-marginal covariance is exactly the plain stochastic gradient descent (SGD) sandwich $H^{-1}SH^{-1}$, so the adaptivity is asymptotically invisible. This holds for SA-Adam (sub-linearly vanishing momentum gain, $γ\in(α,1)$; the sub-linear regime is essential), not constant-$β$ deployed Adam. Coupled $L_2$ weight decay yields the ridge-penalized sandwich, extending one-pass inference to regularized problems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17364v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
안정성의 한계(Edge of Stability)에 선 Adam: 적응형 피드백, 증명 가능한 진동, 그리고 그래디언트 반전
Adam at the Edge of Stability: Adaptive Feedback, Provable Oscillation, and Gradient Reversal
풀배치(full-batch) Adam에서 나타나는 안정성의 한계(Edge of Stability, EoS) 현상은 널리 관찰되어 왔지만, 그 기저에 있는 동역학적 메커니즘은 여전히 명확히 이해되지 않았습니다. 본 논문에서는 Adam의 2차 모멘트 적응을 동역학을 안정성 경계로 이끄는 음의 피드백 메커니즘으로 규명합니다. 우리는 이러한 메커니즘을 사전조건화된 그래디언트 방향을 따른 사전조건화된 곡률인 *활성 곡률(active curvature)*을 통해 규정하며, 점진적으로 확장되는 설정에서 엄밀한 특성화를 확립합니다: 모멘텀이 포함된 랭크-1 2차 함수, 활성 곡률이 선명도(sharpness)와 분리되는 대각 2차 함수, 그리고 일반적인 목적 함수. 중요한 점은, 이 메커니즘이 한계 부근에서 풀배치 Adam의 *그래디언트 반전(gradient reversal)*을 예측한다는 것입니다. 즉, 완전 연결 신경망, ResNet, ViT, LSTM, GPT-2 medium, 그리고 Adam 계열 옵티마이저 전반에서 관찰되는 것처럼 연속된 그래디언트가 반복적으로 거의 반대 방향을 가리키게 됩니다. 이러한 양상과 일치하게, 반복값(iterates)을 평균화하면 이러한 빠른 진동이 억제되고 더 매끄럽고 낮은 손실 곡선이 생성됩니다. 종합적으로, 이러한 결과들은 활성 곡률과 그래디언트 반전을 통해 Adam의 EoS 동역학적 동작을 완전히 이해하기 위한 중요한 첫걸음을 제공합니다.
다중 스케일 행렬 가중치를 통한 온라인 역 선형 최적화의 정밀 후회 상한
Tight Regret Bound for Online Inverse Linear Optimization via Multiscale Matrix Weights
고정된 알려지지 않은 선형 효용(utility)을 갖는 온라인 역 선형 최적화를 연구한다. 각 라운드에서 환경(environment)은 컴팩트 행동 집합을 제시하고, 학습자(learner)는 그 집합에서 행동(action)을 추천하며, 환경은 동일한 집합 위에서 효용을 최대화하는 행동을 반환한다. 효용 벡터와 행동이 $d$차원 유클리드 단위 구(unit ball) 안에 있을 때, 시간 지평(time horizon)을 알 필요 없이 모든 시간 지평에 대해 기대 후회(regret)---최적 행동 대비 누적 효용 부족분---가 $O(\sqrt d)$인 무작위 알고리즘을 제시한다. $d$에 대한 의존성은 $T\ge d$인 지평에 대한 알려진 $\Omega(\sqrt d)$ 하한에 의해 상수 배수까지 최적이다. 우리 알고리즘은 기하학적으로 간격을 둔 스케일에서 다항식 특징(feature) 공간上的 행렬 곱셈 가중(matrix multiplicative weights)을 유지한다. 선형 프로그램(linear program)을 풀어 추천 분포를 선택하고, 이용 가능한 행동과 피드백 행동을 비교하여 점수 행렬을 갱신한다. 유리수 oracle 출력과 피드백 행동 하에서, 선형 최적화 oracle에 상대적으로 계산 가능한 구현이 $O(\sqrt d)$ 후회 상한을 유지한다. 차원, 지평, 입력 길이에 대해 다항 시간 실행 복잡도로 동일한 rate를 달성할 수 있는지는 열려 있다.
Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정
Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters
Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.
프레넬-쿠머 곡면의 정확한 몫과 인증된 이축 굴절
Exact Quotients of Fresnel-Kummer Surfaces and Certified Biaxial Refraction
프레넬 파동 곡면(Fresnel wave surface)은 투명한 이축 결정(biaxial crystal) 내에서의 빛의 전파를 지배합니다. 이는 특수한 쿠머 4차 곡면(Kummer quartic)이며, 본 논문에서는 이를 정확하게 규명합니다. 복소수체 상에서 결정의 파동 곡면은 세 가지 주요 유전율의 부호가 붙은 제곱근에서 분기하는 명시적인 종수 2(genus-two) 곡선의 야코비안에 대한 쿠머 곡면입니다. 이 야코비안은 위수가 4인 커널을 갖는 아이소제니(isogeny)를 통해 두 타원곡선의 곱과 아이소제너스(isogenous)합니다. 하나의 타원곡선은 세 유전율을 전달하고, 다른 하나는 광축각(optic-axis angle)을 전달합니다. 물리적 족(physical family)은 여분의 대합(involution)을 갖는 종수 2 곡선들의 궤적에서 자리스키 조밀(Zariski dense)하며, 그 자기동형사상 층화(automorphism strata)는 명시적입니다. 이러한 식별은 성가신 변환(nuisance transformation)만큼 차이 나는 파라미터를 식별하고 불변 좌표와 명시적 층화를 전달하는 태스크 인식 몫(task-aware quotient)을 구체화합니다. 이축 결정의 경우, 유전율의 두 비는 회전 및 재스케일링에 대해 파동 곡면의 완전 불변량을 형성하며, 4개의 실수 노드는 닫힌 형식(closed form)으로 주어집니다. 경계면에서 투과파 후보들은 정확히 4차인 4차 다항식의 근입니다. 이 다항식의 실근 개수, 근의 순서, 중근 발생 사건은 정확한 대수적 술어(predicate)에 의해 결정되며, 본 논문의 일반적인 단일 노드 조우를 따라 판별식은 2차로 소멸합니다. 부동소수점 솔버는 광축 근처에서 순방향 투과 모드를 누락하지만, 인증된 솔버(certified solver)는 그렇지 않습니다. 정확한 동치류에서, 몫 좌표를 기반으로 학습된 모델은 원시 텐서를 기반으로 한 모델보다 불변성을 가지며 더 정확한 반면, 학습된 실근 개수 술어는 광축 근처에서 실패합니다.
영차(Newton) 동역학을 위한 형식적 운동론: Stein 보정 헤시안 추정과 곡률-분산 트레이드오프
A Formal Kinetic Theory for Zeroth-Order Newton Dynamics:Stein-Corrected Hessian Estimation and Curvature--Variance Trade-offs
영차(Newton)형 방법은 그래디언트와 헤시안을 사용할 수 없을 때 유용하지만, 1차 그래디언트 없는(gradient-free) 방법과는 상당히 다르게 동작한다. 우리는 블랙박스 함수값으로부터 그래디언트와 헤시안을 모두 추정하는 알고리즘을 위한 운동론적 프레임워크를 개발한다. 순진한 무작위 방향 헤시안 추정기는 2차 함수에서조차 편향된 것으로 드러난다; 가우시안 평활화된 목적함수의 헤시안을 추정하려면 가우시안-Stein 보정이 필요하다. 역헤시안의 선형화는 두 가지 노이즈 채널을 드러낸다: 역헤시안으로 전처리(preconditioned)된 그래디언트 노이즈, 그리고 역-헤시안 샌드위치를 통해 전달되는 헤시안 노이즈. 노이즈가 있는 오라클 하에서 두 번째 채널은 2차 차분 인수 $μ_H^{-4}$를 담는다. 작은 질량의 운동론적 리프트(lift)는 유한 단계 Newton 업데이트를 과소감쇠(underdamped) 위상 공간 모델과 연결한다; 과감쇠(overdamped) 공간적 한계는 스텝 크기, 배치 크기, 평활화 반경, 정규화 사이의 곡률-분산 트레이드오프를 드러내는 Lyapunov 경계를 산출한다. 수치 실험은 추정기 항등식, 그래디언트 및 헤시안 분산 법칙, 차원 스케일링, 역 섭동 정확도, 그리고 쿼리 예산 및 정규화 ablation 하에서의 최적화 동작을 확인한다.
Muon의 그로킹에서 핵심 요인
The Active Ingredient in Muon's Grokking
Muon 옵티마이저는 모듈러 산술에서 AdamW보다 더 빠르게 그로킹 임계값에 도달한다. 선행 연구는 이를 "스펙트럴 노름 제약과 직교화된 모멘텀"에 기인한다고 설명하지만, 어떤 메커니즘이 중요한지는 분리하지 않았다. Muon의 거동을 더 잘 이해하기 위해, 우리는 다중 시드 및 다중 학습률 스윕을 수행하여 그 효과를 분해하고 스트레스 테스트한다. 첫째, 어블레이션(ablation) 결과 속도 향상은 직교화(Newton-Schulz 반복)에서 비롯됨을 보여준다: 직교화만 수행하는 설정은 전체 Muon과 일치하는 반면, 스펙트럴만 적용하는 설정은 AdamW보다 빠르지 않으며 불안정하고, 이 결론은 학습률 전반에 걸쳐 성립한다. 둘째, 기계론적 분석은 직교화 옵티마이저가 대략 3배 낮은 스펙트럴 노름에서 일반화에 도달하며, 임베딩이 실제로 얼마나 이동하는지를 통제할 때 임베딩을 덜 교란하는 것이 아니라 더 낮은 노름의 해로 수렴함을 밝힌다. 셋째, Newton-Schulz 반복 횟수를 5회에서 1회로 줄이면 임계값 도달이 빨라지지만 그로킹된 해가 취약해지고 일시적 붕괴에 취약해지며, 그 취약성은 학습률이 커질수록 증가한다; 단일 반복은 작은 학습률에서만 빠르고 안정적이며, 표준 5회 반복이 학습률에 강건한 선택이다. 우리는 또한 스펙트럴 스케일링을 제거해도 측정된 비용이 없음을 보인다. 방법론적 실마리가 전반에 걸쳐 이어진다: 안정성 인식 지표 하에서 그로킹 옵티마이저에 대한 "더 빠르다"는 주장은 뒤집힐 수 있으므로, 우리는 최초 통과(first-crossing) 시간과 지속적 그로킹(sustained-grok) 시간을 모두 보고한다. 재현성을 위해 전체 학습 및 분석 코드를 https://github.com/louiswang524/muon-grokking-frontier 에 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.