arXiv:2606.30388v3 stat.ML

A Stochastic--Geometric Theory of Scaling Laws in Grokking

Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

제출 2026-06-29

원문 초록

Delayed generalization (\ie~grokking) refers to the phenomenon in which a neural network fits its training data early in training but only begins to generalize after a prolonged delay, often through an abrupt transition. Despite extensive empirical study, its underlying mechanism remains poorly understood. In this work, we first theoretically characterize a shell--core topological configuration of the reachable solution space induced by Adam's optimization dynamics with weight-shrinkage regularization, supported by empirical evidence. This optimization-induced topological configuration gives rise to grokking. In model's parameter space, random initialization solutions concentrate on a thin outer spherical shell, enclosing another spherical shell of memorization solutions, which in turn contains a core corresponding to the generalization solutions. Leveraging stopping-time theory, we then analyze the geometry of this topological configuration and the solution transition time at which optimization trajectories escape the memorization manifold and first reach the boundary of the generalization manifold. Our theoretical analysis derives grokking scaling laws for the learning rate, batch size, and $\ell_2$ regularization coefficient, which are further validated through experiments and shown to recover results from prior literature.

요약

Adam 옵티마이저와 가중치 감쇠 정규화의 최적화 역학이 파라미터 공간에서 초기화 해·암기화 해·일반화 해가 동심구형 셸-코어(shell-core) 위상 구조를 이루도록 유도함을 이론적으로 규명하고, 이 구조가 지연 일반화(grokking) 현상의 근원임을 보인다. 정지 시간(stopping-time) 이론과 확률 미분 방정식(SDE) 분석을 통해 학습률, 배치 크기, ℓ₂ 정규화 계수에 대한 grokking 스케일링 법칙을 도출하고, 모듈러 산술 및 군론적 학습 과제 실험으로 검증한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.30388v3제출 시각 미확인
  2. arXiv:2606.30388v2제출 시각 미확인
  3. arXiv:2606.30388v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00403v2cs.LG공통 태그 Stochastic Optimization, grokking

논리와 기억 사이의 충돌: 옵티마이저 의존적 규칙 습득을 위한 학습 조건

The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition

옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.

arXiv:2609.19363v3cs.LG공통 태그 Stochastic Optimization, grokking

드리프트하지 않는 방향: 트랜스포머 어텐션을 위한 슈티펠 다양체 라우팅

Directions That Don't Drift: Stiefel Manifold Routing for Transformer Attention

어텐션(attention)의 쿼리 및 키 프로젝션 $\WQ, \WK$는 거의 항상 기하학적 제약 조건 없이 유클리드 최적화 도구로 학습됩니다. 본 연구에서는 이를 슈티펠 다양체(Stiefel manifold)로 제약하고, 프레임당 하나의 스칼라 2차 모멘트를 갖는 리만 아담(Riemannian Adam)—접공간 프로젝터(tangent projector), 스텝 놈 상한(step-norm cap), 극 분해 리트랙션(polar retraction)을 통해 콤팩트 비-아다마르 $\St(d,r)$로 확장된 \citet{becigneul2019}의 형태—을 사용하여 최적화합니다. 네 가지 명제를 통해 임베딩된 메트릭에서의 최급 강하(steepest descent), 그래디언트(gradient) 스케일 독립성, 양호한 조건수(well-conditioning), 그리고 엄밀한 $\mathrm{O}(d)$-동변성(equivariance)을 증명합니다. 다섯 번째 명제에서는 가중치(weight) 감쇠가 $\St(d,r)$ 상에서 리만 그래디언트가 항등적으로 0임을 기록하여($W{=}WI_r$이 법공간에 놓임), 가중치 감쇠가 제약된 프레임에 작용할 수 없음을 보입니다. $n{=}10\mathrm{k}$인 CIFAR-10 패치 벤치마크에서 이 규칙은 12개의 쌍체 시작점 전반에 걸쳐 AdamW 대비 $\mathbf{+6.79}$\,pp 향상($t{=}38.33$, $12/12$)을 달성합니다. 기존 고정 스텝 리만 SGD는 $+1.97$\,pp를 얻었으며, 이 중 $+1.69$\,pp는 동결된 정규직교 초기화(initialization)만으로 발생합니다. 수정된 Adam의 우위는 데이터가 증가함에 따라 커집니다($n{=}1\mathrm{k}$에서 $+1.9$\,pp, $n{=}50\mathrm{k}$에서 $+6.7$\,pp). 12개 시드 절제 연구에 따르면 모든 이득은 스케일 무관(scale-free) 스텝에 기인하며($+4.63$\,pp, $12/12$), 프로젝터나 동변성으로 인한 이득은 없습니다. 표적 $\varepsilon$-스윕을 통해 이 메커니즘을 인과적으로 확인했습니다($\varepsilon{=}0.1$에서 $-2.6$\,pp, $p{<}0.001$). 5개 시드를 사용한 두 번의 그로킹(grokking) 연구에서는 제약 조건이 적용된 모델이 기준선(baseline)보다 그로킹 성능이 더 우수하지 않음을 확인했습니다($p{=}0.019$, A2 승리). 즉, 가중치 감쇠 면제가 그로킹에 미치는 영향은 없습니다. 이러한 국소화를 활용한 단일 시드 파일럿 연구는 슬링샷(slingshot) 조건에서 최초로 안정적인 그로킹을 달성했습니다. 즉, 슈티펠 제약 조건과 표적 회로 정규화(regularization)를 결합함으로써 모든 붕괴 과정에서 비제약 절제 모델보다 라우팅 프레임 등거리(isometry) 오차를 $10^6$배 낮게 유지합니다.

arXiv:2607.20512v1cs.LG공통 태그 Stochastic Optimization, grokking

Muon의 그로킹에서 핵심 요인

The Active Ingredient in Muon's Grokking

Muon 옵티마이저는 모듈러 산술에서 AdamW보다 더 빠르게 그로킹 임계값에 도달한다. 선행 연구는 이를 "스펙트럴 노름 제약과 직교화된 모멘텀"에 기인한다고 설명하지만, 어떤 메커니즘이 중요한지는 분리하지 않았다. Muon의 거동을 더 잘 이해하기 위해, 우리는 다중 시드 및 다중 학습률 스윕을 수행하여 그 효과를 분해하고 스트레스 테스트한다. 첫째, 어블레이션(ablation) 결과 속도 향상은 직교화(Newton-Schulz 반복)에서 비롯됨을 보여준다: 직교화만 수행하는 설정은 전체 Muon과 일치하는 반면, 스펙트럴만 적용하는 설정은 AdamW보다 빠르지 않으며 불안정하고, 이 결론은 학습률 전반에 걸쳐 성립한다. 둘째, 기계론적 분석은 직교화 옵티마이저가 대략 3배 낮은 스펙트럴 노름에서 일반화에 도달하며, 임베딩이 실제로 얼마나 이동하는지를 통제할 때 임베딩을 덜 교란하는 것이 아니라 더 낮은 노름의 해로 수렴함을 밝힌다. 셋째, Newton-Schulz 반복 횟수를 5회에서 1회로 줄이면 임계값 도달이 빨라지지만 그로킹된 해가 취약해지고 일시적 붕괴에 취약해지며, 그 취약성은 학습률이 커질수록 증가한다; 단일 반복은 작은 학습률에서만 빠르고 안정적이며, 표준 5회 반복이 학습률에 강건한 선택이다. 우리는 또한 스펙트럴 스케일링을 제거해도 측정된 비용이 없음을 보인다. 방법론적 실마리가 전반에 걸쳐 이어진다: 안정성 인식 지표 하에서 그로킹 옵티마이저에 대한 "더 빠르다"는 주장은 뒤집힐 수 있으므로, 우리는 최초 통과(first-crossing) 시간과 지속적 그로킹(sustained-grok) 시간을 모두 보고한다. 재현성을 위해 전체 학습 및 분석 코드를 https://github.com/louiswang524/muon-grokking-frontier 에 공개한다.

arXiv:2607.20552v1cs.LG공통 태그 Stochastic Optimization, grokking

열역학적 가중치 감쇠: 어텐션 비열을 통한 그로킹 가속 탐구

Thermodynamic Weight Decay: Exploring Grokking Acceleration via Attention Specific Heat

그로킹 — 신경망이 학습 데이터를 암기한 뒤 한참 지나서야 일반화가 늦게 일어나는 현상 — 은 수천 에포크의 학습을 낭비하며 예측하기 어렵기로 악명 높다. 최근 트랜스포머 어텐션이 형식적으로 열역학적 시스템과 동형(isomorphic)이라는 결과를 바탕으로, 우리는 어텐션 로짓의 분산을 비열 Cv로 취급하고 그 피크가 일반화 전환을 안정적으로 앞선다는 것을 보인다. 우리는 CvAdamW를 제안한다. 이는 Cv를 온라인으로 모니터링하고 상전이(phase transition)가 감지되면 가중치 감쇠를 동적으로 조절하여 열 에너지를 주입하는 AdamW의 드롭인(drop-in) 변형이다. 엄격한 반복적 개발 과정을 통해 우리는 세 가지 실패 모드 — 초기화 노이즈, 미니배치 미세 요동(micro-ripples), 슬링샷(slingshot) 블라인딩 — 을 식별하고, 암기 게이트(memorization gate)와 지수 이동 평균(exponential-moving-average) 충격 흡수기로 이를 해결한다. 모듈러 산술(a+b mod 97)에서 CvAdamW는 4000 에포크 예산 내에서 기준선이 전혀 그로킹하지 못하는 조건에서 2802 에포크에 그로킹을 가능하게 한다. 또한 작업별 하이퍼파라미터를 제거하는 스케일 불변 z-점수 재공식화를 제안하고 10개의 쌍을 이룬 시드(seed)에 걸쳐 이를 평가한다. 쌍 분석(paired analysis)에 따르면 콜드스타트(cold-start) 변형은 평균 그로킹 지연(latency)을 257 에포크(6.0%; 중앙값 166 에포크; Wilcoxon p=0.049, Cohen's d=0.68, bootstrap 95% CI [53,489])만큼 줄이며 10개 시드 중 8개에서 개선된다. 이 단일 작업에서 Cv 피크는 10개 시드 모두에서 그로킹 이전에 나타난다. 우리 결과는 신경망이 임박한 일반화 전환의 탐지 가능한 전구(precursor)를 드러낼 수 있으며, 물리적으로 동기 부여된 비례적 개입이 고정된 연산 예산 내에서 일반화를 촉진할 수 있음을 시사한다. 코드와 데이터는 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.