Training selects for behavior, not circuitry: many weight configurations can implement the same function. Studying any single trained neural network thus risks describing accidents of one training run rather than the computation itself. This work shifts focus from what transformers happen to do to what they must do by extracting algorithmic cores, compact subspaces that are necessary and sufficient for a task and that recur across independently trained models. Here, Algorithmic Core Extraction (ACE) is introduced to isolate these subspaces, causally validate them, and recover the algorithms they implement, from synthetic tasks to large pretrained models. Markov-chain transformers embed 3D cores in nearly orthogonal subspaces yet recover identical transition spectra. Modular-addition transformers form compact cyclic cores at grokking that later inflate under continued regularization, redundantly distributing the same computation across many functionally equivalent modes. This functional redundancy accelerates the transition from memorization to generalization, yielding an inverse scaling law for grokking time. In six language models spanning two orders of magnitude in scale (GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, and Qwen2.5), subject-verb agreement is governed by a single, steerable axis that aligns across architectures. Flipping this axis inverts grammatical number throughout open-ended generation. For indirect object identification, a multi-step task, the same six models route computation through compact multi-dimensional cores at two sites, linked by a linear operator that transfers across model families. Together these results suggest that beneath the apparent complexity of trained transformers lies a simpler, shared computational structure, and that targeting invariants rather than parameterizations may offer a more tractable path to mechanistic understanding and control.
모듈러 덧셈과 같은 기초적인 수학적 과제는 노이즈가 많고 검증하기 어려운 대규모 실제 환경에서는 확인하기 힘든 신경망의 동작 양상을 밝히는 데 유용한 도구로 활용되어 왔습니다. 이러한 연구들은 대개 단일 과제에 집중해 왔습니다. 그러나 현대의 언어 모델은 다음 토큰 예측 목적함수로 학습됨에도 불구하고 방대한 수의 과제에 노출됩니다. 본 연구에서는 정수 및 순열에 대한 서로 구별되면서도 관련된 과제들로 구축된 두 가지 수학적 과제 생태계인 IntWorld와 PermWorld를 소개합니다. 두 생태계 모두 과제들이 구별되면서도 서로 연결된 응집력 있는 수학적 '세계' 내에서 과제 다양성을 시뮬레이션하도록 설계되었습니다. 데이터셋이 절차적으로 생성되기 때문에 과제의 수를 정밀하게 조절할 수 있으며, 이를 통해 학습에서 다른 요인들과 분리하여 과제 다양성의 역할을 밝혀내기 시작할 수 있습니다. 데이터셋을 소개한 후, 과제 다양성을 늘리는 것이 모델 내부 표현의 풍부함을 증가시킨다는 견해를 뒷받침하는 초기 결과를 제시합니다.
과매개변수화된(overparameterized) 신경망에서는 여러 해가 학습(training) 데이터를 동등하게 잘 적합하면서도 보지 않은 샘플에 대해서는 매우 다르게 동작할 수 있습니다. 그로킹(grokking)은 학습 적합과 가시적인 일반화를 분리하여, 이러한 해 선택이 학습 중에 어떻게 전개되는지 연구할 수 있는 창을 제공합니다. 본 연구에서는 일반화 이전 정체기(plateau) 전반에 걸쳐 짧고 고정된 기간의 가중치 감쇠(weight decay, WD) 섭동(perturbation)을 가하고, 이것이 이후 일반화 시점을 어떻게 변화시키는지 측정합니다. 세 가지 그로킹 태스크 전반에서, 이러한 변화는 정체기 초기에는 무질서하지만 가시적인 일반화가 일어나기 전 점차 안정적인 투여량 순서(dose ordering)를 형성합니다. 즉, 더 강한 WD 증가는 더 이른 일반화로 이어지고 더 강한 WD 감소는 더 늦은 일반화로 이어집니다. 섭동된 체크포인트와 기준선(baseline) 일반화 체크포인트 사이의 테스트 손실(loss) 장벽은 0으로 수렴하는 반면, 순서화된 타이밍 효과는 지속됩니다. Junior 등 (2025)의 그로킹 설정에서 $\ell_1$ 정규화(regularization)를 적용했을 때도 유사한 반응 재조직화가 관찰됩니다. 와딩턴(Waddington)의 발생학적 풍경(developmental landscape)을 비유로 삼아, 우리는 점점 더 제약되는 해 선택과 지속적인 투여량 순서 타이밍 변화의 이러한 결합을 그로킹 해 선택의 수로화(canalization)라고 부릅니다. 종합적으로 우리의 반응 맵과 손실 장벽 측정은 가시적 일반화 이전에 일어나는 동역학적 재조직화를 드러내며, 이는 안정적인 완만한 다양체(slow manifold)를 따라 움직이는 정규화 기반 이동이라는 이론적 묘사(Boursier et al., 2025)와 일치합니다.
Muon으로 학습(training)된 모듈러 연산 트랜스포머는 선형적으로 디코딩 가능한 태스크 정보를 유지하면서도 정확도를 잃을 수 있습니다. 인접 교체 분석을 통해 포착된 5건의 비정규화 실패 원인이 AdamW 판독(readout) 업데이트에 위치함을 국소화했습니다. 실제 판독 변위에 큰 특징(feature) 평균을 곱하면 입력 전반에 공유되는 클래스 종속적 로짓(logit) 오프셋이 발생하며, 이는 각 실패를 거의 재현합니다. 학습 전용 디코더는 98.20~100%의 미학습 검증(held-out) 정확도를 복원합니다. 교차 엔트로피(cross-entropy) 도함수(derivative) 오차를 교정하면 100,000단계까지 5개의 일치된 브랜치가 안정화되지만, 향후 정확한 CE RMS를 적용한 4건의 실험은 임베딩(embedding) 업데이트를 통해 실패합니다.
옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.
신경망이 학습(training) 데이터를 피팅한 후 한참 뒤에 일반화되는 현상인 그로킹(grokking)은 많은 에포크(epoch)를 거치는 지도학습 환경에서 주로 연구되어 왔습니다. 반면 대규모 언어 모델(LLM)의 사전학습(pre-training)은 라벨이 없는 코퍼스에 대한 다음 토큰 예측(next-token prediction)으로 이루어지며, 데이터 반복이 제한적이고 명시적인 학습/검증(validation) 분할이 없습니다. 이를 해결하기 위해, 본 연구에서는 LLM 사전학습 도중 그로킹과 유사한 역동성을 연구할 수 있도록 하는 노출 기반 프레임워크를 제안합니다. 통제된 문법적 대조를 제공하는 BLiMP 최소 대립쌍(minimal pairs)을 기반으로 평가를 수행합니다. 모든 BLiMP 최소 대립쌍에 대해 문법적 대조와 현상 관련 문맥을 포착하는 가장 작은 연속 구간인 핵심 구(critical phrase)를 식별합니다. 핵심 구가 사전학습 윈도우에 나타나는 예제는 대리 학습(proxy-train) 분할에 할당되고, 나머지 예제는 대리 검증(proxy-validation) 분할에 할당됩니다. 5가지 문법 현상 전반에 걸쳐 지연된 일반화가 관찰됩니다. 일반화 전후의 사전학습 체크포인트를 분석한 결과, 문법 개념 벡터는 문법적 수용성을 더 잘 예측하게 되며 일반화 이후 더 고차원의 부분공간(subspace)을 차지함을 보여줍니다. 또한 핵심 토큰(token)에서 관련 문맥 토큰으로 향하는 어텐션(attention)이 소수의 헤드에 집중되어 있음을 발견했습니다.
어텐션(attention)의 쿼리 및 키 프로젝션 $\WQ, \WK$는 거의 항상 기하학적 제약 조건 없이 유클리드 최적화 도구로 학습됩니다. 본 연구에서는 이를 슈티펠 다양체(Stiefel manifold)로 제약하고, 프레임당 하나의 스칼라 2차 모멘트를 갖는 리만 아담(Riemannian Adam)—접공간 프로젝터(tangent projector), 스텝 놈 상한(step-norm cap), 극 분해 리트랙션(polar retraction)을 통해 콤팩트 비-아다마르 $\St(d,r)$로 확장된 \citet{becigneul2019}의 형태—을 사용하여 최적화합니다. 네 가지 명제를 통해 임베딩된 메트릭에서의 최급 강하(steepest descent), 그래디언트(gradient) 스케일 독립성, 양호한 조건수(well-conditioning), 그리고 엄밀한 $\mathrm{O}(d)$-동변성(equivariance)을 증명합니다. 다섯 번째 명제에서는 가중치(weight) 감쇠가 $\St(d,r)$ 상에서 리만 그래디언트가 항등적으로 0임을 기록하여($W{=}WI_r$이 법공간에 놓임), 가중치 감쇠가 제약된 프레임에 작용할 수 없음을 보입니다. $n{=}10\mathrm{k}$인 CIFAR-10 패치 벤치마크에서 이 규칙은 12개의 쌍체 시작점 전반에 걸쳐 AdamW 대비 $\mathbf{+6.79}$\,pp 향상($t{=}38.33$, $12/12$)을 달성합니다. 기존 고정 스텝 리만 SGD는 $+1.97$\,pp를 얻었으며, 이 중 $+1.69$\,pp는 동결된 정규직교 초기화(initialization)만으로 발생합니다. 수정된 Adam의 우위는 데이터가 증가함에 따라 커집니다($n{=}1\mathrm{k}$에서 $+1.9$\,pp, $n{=}50\mathrm{k}$에서 $+6.7$\,pp). 12개 시드 절제 연구에 따르면 모든 이득은 스케일 무관(scale-free) 스텝에 기인하며($+4.63$\,pp, $12/12$), 프로젝터나 동변성으로 인한 이득은 없습니다. 표적 $\varepsilon$-스윕을 통해 이 메커니즘을 인과적으로 확인했습니다($\varepsilon{=}0.1$에서 $-2.6$\,pp, $p{<}0.001$). 5개 시드를 사용한 두 번의 그로킹(grokking) 연구에서는 제약 조건이 적용된 모델이 기준선(baseline)보다 그로킹 성능이 더 우수하지 않음을 확인했습니다($p{=}0.019$, A2 승리). 즉, 가중치 감쇠 면제가 그로킹에 미치는 영향은 없습니다. 이러한 국소화를 활용한 단일 시드 파일럿 연구는 슬링샷(slingshot) 조건에서 최초로 안정적인 그로킹을 달성했습니다. 즉, 슈티펠 제약 조건과 표적 회로 정규화(regularization)를 결합함으로써 모든 붕괴 과정에서 비제약 절제 모델보다 라우팅 프레임 등거리(isometry) 오차를 $10^6$배 낮게 유지합니다.
그로킹(grokking)에서는 학습 데이터에 대한 초기 적합이 일반화의 훨씬 늦은 개선과 분리된다. 이 지연 기간 동안 학습은 고정된 신경 접선 커널(NTK) 영역에서 과제 관련 커널 고유방향이 계속 진화하는 영역으로 이동할 수 있다. 우리는 lazy에서 rich 학습으로의 이러한 전환이 어떻게 지연된 일반화를 만들어낼 수 있는지에 대한 정량적 이론을 제공한다. 제곱 손실과 $L_2$ 가중치 감쇠로 학습된 동차(homogeneous) 네트워크에 대해, 암기(memorization) 이후에도 유한한 잔차가 남으며, 더 작은 NTK 고유값과 연관된 목표 성분에서는 더 큰 잔차 비율이 나타남을 보인다. 이 잔차들은 NTK 자체의 동역학에 되먹임되며, 결과 동역학을 과제 관련 스펙트럴 방향으로 투영하면 잔차가 주도하는 커널 성장과 가중치 감쇠가 경쟁하는 축약 시스템이 얻어진다. 이 시스템은 그로킹 시간 척도가 학습률과 가중치 감쇠의 곱에 의해 제어되며, 특징 학습이 임계 감쇠 근처에서 로그적으로 느려지고 그 이상에서는 과제 정렬 NTK 구조가 더 이상 일반화를 지탱할 수 없으며, 더 강한 감쇠가 적합(fitting) 자체를 막을 수 있음을 예측한다. 모듈러 덧셈(modular addition)에서 이러한 예측을 검증한다. 동차 MLP에서는 학습 정확도가 포화된 후에도 NTK에서 과제 정렬 푸리에 구조가 계속 출현하며, 다양한 학습률과 가중치 감쇠에 걸친 학습된 네트워크의 84$\times$90 격자가 예측된 위상(phase) 기하와 일반화 시간의 학습률·가중치 감쇠에 대한 역곱 스케일링을 재현한다. 1블록 트랜스포머는 정확한 동차성을 위반함에도 불구하고 42$\times$45 격자에서 유사한 거시적 위상 구조와 동일한 전환 시간 스케일링을 보인다. 종합하면, 이 결과들은 적합 이후 특징 학습을 일반화의 시작과 학습률·가중치 감쇠 평면에서의 위상 구조 모두와 연결하는 기계론적 유도를 제공한다.
소형 트랜스포머가 모듈러 곱셈을 그로크(grok)할 때, 선행 연구에서는 학습된 임베딩이 모든 주파수가 필요한 "조밀한(dense)" 푸리에 스펙트럼을 가진다고 보고했습니다. 이는 소수의 핵심 주파수만으로도 충분한 모듈러 덧셈과 대조됩니다. 우리는 이러한 조밀성이 잘못된 기저(basis)에서 분석한 데서 비롯된 인공적인 산물임을 보여줍니다. 곱셈에 대한 자연스러운 푸리에 변환은 표준적인 가법적 DFT가 아니라, 승법군 $(\mathbb{Z}/p\mathbb{Z})^*$ 위의 함수를 기약 표현(irreducible representations)으로 분해하는 승법적 문자 변환(multiplicative character transform)입니다. $a \cdot b \bmod 113$으로 학습된 그로크된 트랜스포머에 이 변환을 적용한 결과, 임베딩 스펙트럼은 단 4개의 핵심 주파수만이 유의미한 에너지를 가지는 고도로 희소한 형태(지니 계수 0.58 vs 가법적 기저에서의 0.07)가 됨을 확인했습니다. 또한, MLP 뉴런의 96.9%는 단일 승법적 주파수에 명확하게 튜닝되어 있으며, 이산 로그(discrete logarithm)에 따라 재정렬했을 때 뉴런 활성화 히트맵은 2차원 주기적 구조를 드러냅니다. 이러한 결과는 트랜스포머가 이산 로그 공간에서 곱셈을 덧셈으로 환원하여, 덧셈에 대한 Nanda 등의 클럭 알고리즘과 유사한 "이산 로그 클럭(Discrete-Log Clock)" 알고리즘을 구현함을 입증합니다. 이 방법론은 일반화됩니다: 분석 기저를 작업의 대수적 구조와 일치시키면, 표준 도구가 노이즈로 인식하는 부분에서 해석 가능한 구조가 드러납니다.
과매개변수화된 심층 네트워크의 일반화 문제를 해결하기 위해 정보 이론, 위상수학, 통계역학을 통합한 프레임워크를 제안하며, 핵심 개념인 엔트로피 학습 가능성 한계(Entropic Learnability Horizon, ELH)를 통해 데이터의 Shannon 엔트로피와 가중치의 von Neumann 엔트로피의 합이 결정 경계의 위상 엔트로피를 초과할 때만 진정한 학습이 가능함을 수학적으로 증명한다. 이 이론을 바탕으로 "그로킹(grokking)" 현상을 엔트로피 해방으로 재해석하고, 가중치 엔트로피를 동적으로 관리하는 새로운 최적화 알고리즘인 엔트로피 경사하강법(Entropic Gradient Descent, EGD)을 제시한다.
지연된 일반화, 즉 그로킹(grokking)은 광범위한 실증 연구에도 불구하고 여전히 잘 이해되지 않는다. 우리는 전체 배치 heavy-ball 최적화와 가중치 감쇠(weight decay)로 학습된 선형 모델에서 그로킹에 대한 정확히 풀 수 있는 후기 이완 메커니즘을, 비선형 신경망에 대한 국소적으로 이차적인 확장과 함께 밝힌다. 우리의 분석은 경험적 영공간(empirical null space)의 구별되는 population-active 성분을 드러내며, 이를 그로킹 부분공간(grokking subspace)이라 부른다. 이 부분공간을 따라 학습 예측은 변하지 않아 가중치 감쇠만이 유일한 복원력이 되며, 정확한 이산 시간 및 연속 시간 법칙에 의해 지배되는 느린 소산 이완이 발생한다. 우리는 오직 이 부분공간만이 모집단 위험(population risk)의 느린 점근적 감쇠에 기여함을 보이고, 그로킹 시간에 대한 명시적인 반복(iteration) 규모 예측을 유도하여, 약한 정규화(regularization) 영역에서 잘 알려진 $(1-β)/(ηλ)$ 스케일링을 복원한다. 이 이론은 결합된 $L_2$ 정규화와 분리된(decoupled) 가중치 감쇠를 구별하여 옵티마이저 선택의 뚜렷한 효과를 추가로 예측하고, 그로킹 성분을 수정하는 개입에 대한 인과적 예측을 제공한다. 우리는 모든 부분공간과 이완 속도가 폐형(closed form)으로 계산 가능한 합성 모델에서, 적합 파라미터 없이 모든 이론적 항등식을 검증한다. 우리는 모듈러 덧셈(modular addition)에서 실제 지연된 일반화를 추가로 관찰하며, 측정된 지연이 예측된 스케일링을 따르고 후기 이완이 이론적 시계와 밀접하게 일치함을 확인한다.
그로킹 — 신경망이 학습 데이터를 암기한 뒤 한참 지나서야 일반화가 늦게 일어나는 현상 — 은 수천 에포크의 학습을 낭비하며 예측하기 어렵기로 악명 높다. 최근 트랜스포머 어텐션이 형식적으로 열역학적 시스템과 동형(isomorphic)이라는 결과를 바탕으로, 우리는 어텐션 로짓의 분산을 비열 Cv로 취급하고 그 피크가 일반화 전환을 안정적으로 앞선다는 것을 보인다. 우리는 CvAdamW를 제안한다. 이는 Cv를 온라인으로 모니터링하고 상전이(phase transition)가 감지되면 가중치 감쇠를 동적으로 조절하여 열 에너지를 주입하는 AdamW의 드롭인(drop-in) 변형이다. 엄격한 반복적 개발 과정을 통해 우리는 세 가지 실패 모드 — 초기화 노이즈, 미니배치 미세 요동(micro-ripples), 슬링샷(slingshot) 블라인딩 — 을 식별하고, 암기 게이트(memorization gate)와 지수 이동 평균(exponential-moving-average) 충격 흡수기로 이를 해결한다. 모듈러 산술(a+b mod 97)에서 CvAdamW는 4000 에포크 예산 내에서 기준선이 전혀 그로킹하지 못하는 조건에서 2802 에포크에 그로킹을 가능하게 한다. 또한 작업별 하이퍼파라미터를 제거하는 스케일 불변 z-점수 재공식화를 제안하고 10개의 쌍을 이룬 시드(seed)에 걸쳐 이를 평가한다. 쌍 분석(paired analysis)에 따르면 콜드스타트(cold-start) 변형은 평균 그로킹 지연(latency)을 257 에포크(6.0%; 중앙값 166 에포크; Wilcoxon p=0.049, Cohen's d=0.68, bootstrap 95% CI [53,489])만큼 줄이며 10개 시드 중 8개에서 개선된다. 이 단일 작업에서 Cv 피크는 10개 시드 모두에서 그로킹 이전에 나타난다. 우리 결과는 신경망이 임박한 일반화 전환의 탐지 가능한 전구(precursor)를 드러낼 수 있으며, 물리적으로 동기 부여된 비례적 개입이 고정된 연산 예산 내에서 일반화를 촉진할 수 있음을 시사한다. 코드와 데이터는 공개되어 있다.
Muon 옵티마이저는 모듈러 산술에서 AdamW보다 더 빠르게 그로킹 임계값에 도달한다. 선행 연구는 이를 "스펙트럴 노름 제약과 직교화된 모멘텀"에 기인한다고 설명하지만, 어떤 메커니즘이 중요한지는 분리하지 않았다. Muon의 거동을 더 잘 이해하기 위해, 우리는 다중 시드 및 다중 학습률 스윕을 수행하여 그 효과를 분해하고 스트레스 테스트한다. 첫째, 어블레이션(ablation) 결과 속도 향상은 직교화(Newton-Schulz 반복)에서 비롯됨을 보여준다: 직교화만 수행하는 설정은 전체 Muon과 일치하는 반면, 스펙트럴만 적용하는 설정은 AdamW보다 빠르지 않으며 불안정하고, 이 결론은 학습률 전반에 걸쳐 성립한다. 둘째, 기계론적 분석은 직교화 옵티마이저가 대략 3배 낮은 스펙트럴 노름에서 일반화에 도달하며, 임베딩이 실제로 얼마나 이동하는지를 통제할 때 임베딩을 덜 교란하는 것이 아니라 더 낮은 노름의 해로 수렴함을 밝힌다. 셋째, Newton-Schulz 반복 횟수를 5회에서 1회로 줄이면 임계값 도달이 빨라지지만 그로킹된 해가 취약해지고 일시적 붕괴에 취약해지며, 그 취약성은 학습률이 커질수록 증가한다; 단일 반복은 작은 학습률에서만 빠르고 안정적이며, 표준 5회 반복이 학습률에 강건한 선택이다. 우리는 또한 스펙트럴 스케일링을 제거해도 측정된 비용이 없음을 보인다. 방법론적 실마리가 전반에 걸쳐 이어진다: 안정성 인식 지표 하에서 그로킹 옵티마이저에 대한 "더 빠르다"는 주장은 뒤집힐 수 있으므로, 우리는 최초 통과(first-crossing) 시간과 지속적 그로킹(sustained-grok) 시간을 모두 보고한다. 재현성을 위해 전체 학습 및 분석 코드를 https://github.com/louiswang524/muon-grokking-frontier 에 공개한다.
우리는 고전적인 릿지 회귀 설정에서 grokking, 즉 과적합 이후 오랫동안 지속된 뒤에야 일반화가 시작되는 현상을 연구한다. 가중치 감쇠(weight decay)를 적용한 경사하강법으로 과매개변수화된 선형 회귀 모델을 학습할 때 end-to-end grokking 결과를 증명한다. 구체적으로, 다음 단계가 발생함을 증명한다: (i) 학습 초기에 모델이 학습 데이터에 과적합한다; (ii) 과적합이 나타난 뒤에도 오랫동안 낮은 일반화 성능이 지속된다; (iii) 일반화 오차가 결국 임의로 작아진다. 더 나아가, 이론적으로 및 실증적으로 적절한 하이퍼파라미터 튜닝을 통해 grokking을 원칙적인 방식으로 증폭하거나 제거할 수 있음을 보인다. 최선을 다해 확인한 바, 이는 학습 하이퍼파라미터에 따른 일반화 지연(우리는 이를 "grokking time"이라고 부른다)에 대한 최초의 엄밀한 정량적 상계이다. 마지막으로, 선형 설정을 넘어 비선형 신경망에서의 grokking 거동도 우리의 정량적 상계가 포착함을 실증적으로 보인다. 우리 결과는 grokking이 심층 학습의 내재적 실패 모드가 아니라 특정 학습 조건의 결과이며, 따라서 이를 피하기 위해 모델 아키텍처나 학습 알고리즘의 근본적인 변경이 필요하지 않음을 시사한다.
모듈러 산술(modular arithmetic)에 대해 학습된 신경망은 grokking, 즉 암기(memorisation)에서 일반화(generalisation)로의 지연된 전환을 보이며, 이는 모델 용량에 의존하는 것으로 알려져 있다: 용량이 너무 적으면 네트워크는 느리게 암기하거나 전혀 암기하지 못하고, 너무 많으면 거의 즉시 일반화한다. 아키텍처가 표현할 수 있는 함수 클래스(function class)가 유한차원 대수적 다양체(algebraic variety)로 축소되는 이 스펙트럼의 극단에서는 무엇이 일어나는가? 우리는 전해 단항식(monomial) 활성화 σ(z)=z^k를 사용하는 2층 네트워크를 연구하며, 이는 단위근(roots of unity)을 통해 인코딩된 모듈러 과제에 대해 학습된다. 여기서 네트워크 출력은 은닉 너비와 무관하게 (Z_p)^2의 특(character)들의 (k+1)차원 부분공간에 한정되며, 이는 전체 함수 공간의 O(k/p^2) 크기 조각에 해당한다. 우리는 이 부분공간에 대한 완전한 대수적 특성화를 제공한다: 어떤 과제가 표현 가능(representable)한지는 그 이산 푸리에(Discrete Fourier) 지지(support)가 대각선 u+v = k (mod p) 위에 놓이는지에 달려 있으며, 선형 위상(linear-phase) 타깃의 경우 이는 산술적 기준 m+n=k로 환원된다. 이는 최종적인 일반화뿐만 아니라 암기 자체에 대한 제약이다: 출력이 대수적으로 한정되기 때문에, 표현 불가능한 타깃은 학습 집합에서조차 적합(fit)될 수 없으며, 우리는 너비와 무관한 학습 손실의 양의 하한(positive lower bound)을 증명한다. 585회 실행에 걸쳐 대수적 예측은 관측된 결과와 99.8% 정확도로 일치하며, 암기 체제(regime)도 grokking도 없다; 결과는 즉각적 성공과 완전한 실패로 깔끔하게 나뉜다. 이 이진(binary)적 거동은 용량-grokking 관계의 극한 경우(limiting case)이다: 표현 가능한 클래스가 고정된 대수적 객체(object)로 축소되면, 네트워크가 언제 grok할지라는 질문은 결국 타깃을 아예 표현할 수 있는지 여부로 환원(dissolves)된다. 병목(bottleneck) 절제(ablation)는 이 극단을 표준 네트워크와 연결하며, 표현 실패(representational failure)에서 일반화 없는 암기를 거쳐, 용량이 커질수록 간격(gap)이 줄어드는 grokking까지 이어지는 연속적인 경로를 추적한다.
동반 연구는 grokking 지연이 인과적으로 과제 구조화된 표현이 형성되는 데 걸리는 시간이며, 대조적 사전을 통해 주입할 수 있음을 보였다. 여기서 우리는 188회의 새로운 실행을 통해 네 가지 축에 걸쳐 그러한 사전이 작동하게 만드는 요소를 규명한다. 내용: 잘못된 특징 군(크기 밴드)으로 구축된 일관되고 학습 가능한 사전은 무작위 분할과 마찬가지로 일반화를 차단한다(1/15 vs 0/20 grok; 둘 사이 $p=0.43$), 이는 사전이 회로의 특징 수준에서 작용한다는 동반 연구의 예측을 확인한다. 지도: 완전히 라벨 없는 불변성 사전 — 양성은 교환된 쌍 $(a,b)\sim(b,a)$뿐 — 은 중앙값 $2.7\times$ 속도 향상으로 15/15 실행에서 일반화하며, 라벨 지도 사전 자체보다 더 안정적이다($p=0.038$). 가중치 노름 클램프와 결합하면 우리가 시험한 가장 강력한 방법을 낳는다(중앙값 $17\times$, 5/5) — '가장 강력한'은 안정적으로 빠름을 의미한다: 클램프만 있는 단순 교차 엔트로피는 정확한 임계 노름에서만 이 속도에 도달하는 반면, 사전은 전체 클램프 범위에서 빠름을 유지한다. 시점: 사전은 초기에만 필요하다 — 처음 2000 epoch(예산의 4%) 동안에만 적용하면 $2.7\times$로 10/10 일반화하여, 연속 적용(8/10, $1.25\times$)과 동일 기간의 후기 구간($2.1\times$)보다 우수하다. 설정: 이 분리 현상은 모듈러 곱셈에서 및 다양한 깊이와 정규화 변형에 걸쳐 재현되며, 클램프 스윕은 동반 연구의 핵심 주장을 정량화한다: 구조 주입은 가중치 노름 지연 법칙 지수를 약 17배 평탄화한다(단순 교차 엔트로피는 +10 노름 단위당 $31\times$ 느려지며, 더 높은 셀은 검열되어 하한인 반면, 사전 사용 시 $1.22\times$). 솔직한 한계: 암기 전에 일반화하는 과제에는 통제할 지연이 없다. 특징 군 정렬은 사전이 일반화를 허용하는지를 결정하며, 불변성 내용만으로도 라벨 없이 가속에 충분하다; 짧은 초기 구간이 거의 모든 이점을 포착한다.
그로킹(grokking) — 학습 집합 보간 이후 오랜 시간이 지난 뒤의 일반화 — 은 구조 비특이적 개입(그래디언트 필터링, 가중치 노름 클램핑, 기하학적 패널티)으로 가속화되어 왔다. 지연이 구체적으로 과제-구조화된 표현이 형성되는 데 걸리는 시간을 측정하는지는 관찰 수준에 머물러 왔다. 우리는 모듈러 덧셈을 학습하는 1층 트랜스포머에 내용이 다른 표현 사전을 주입하여 이를 인과적으로 검증한다. 지도 대조 손실(supervised-contrastive loss)의 양성(positive) 샘플은 (i) 과제의 참 구조($(a+b) \bmod p$), (ii) 일관되지만 틀린 형제 구조($(a-b) \bmod p$), (iii) 무작위 분할을 각각 인코딩하며, 손실 형식·강도·클래스 크기·기하학은 모두 동일하다. 일반화 발생 여부는 뚜렷한 단계를 따른다: 참 구조 22/30 실행, 형제(동일한 주기 특성, 잘못된 조합) 14/15, 무작위(암기만 가능) 0/20 (Fisher $p=1.3\times10^{-7}$). 가중치 노름 궤적을 일반 교차 엔트로피에 재현하는 가중치 노름-매칭 대조군은 0/15로 일반화하여, 노름이 매개 변수가 아님을 배제한다. 프로브(probe)는 모든 실행에서 구조 형성이 일반화에 앞서고 이를 예측함을 보여준다. 참 구조만이 그로킹을 가속화하기도 한다(최대 $2.75\times$), 그러나 이는 용량 의존적이고 이봉성(bimodal)이다. 우리는 예측으로 메커니즘을 확인한다: 가속은 가중치 노름 부수 효과에 의해 게이트(gated)되므로, 학습 중 노름을 클램핑하면 신뢰할 수 있는 독립 가속기를 얻을 수 있으며 중앙값 $8.6\times$ 속도 향상(가장 빠른 시드에서 최대 $22\times$, 1000 에포크 미만), 노름을 더 낮게 유지할수록 단조 증가한다; 잔여 정체(stall)도 사라지나, 두 완화법을 각 강도에서 실행한 결과를 풀(pooled)했을 때만 유의($0/40$ vs $6/20$, $p=7.7\times10^{-4}$)하고 방법별로는 그렇지 않다. 그로킹 지연은 인과적으로 올바른 표현 구조가 형성되는 데 걸리는 시간이며 — 특징(feature) 수준에서 결정되고, 레이블(label) 수준이 아니다.
그로킹(Grokking)은 신경망이 처음에는 학습 데이터를 암기하다가 장기간의 최적화 이후에야 강한 일반화를 나타내는 현상이다. 최근 광범위한 연구에도 불구하고, 그로킹의 발생과 시점에 영향을 미치는 요인들은 아직 완전히 이해되지 않았다. 우리는 표현 기하학과 지연된 일반화 사이의 관계를 조사한다. 모든 평가 환경에서 차원 붕괴(dimensionality collapse)가 그로킹 발생에 일관되게 선행함을 발견하였다. 이러한 관찰에 동기를 얻어, 우리는 학습 중 은닉 표현의 유효 차원수를 수정하는 단순한 스펙트럼 정규화 기법인 기하학적 차원 정규화(GeomDR, Geometric Dimensionality Regularization)를 도입한다. 모듈식 덧셈, 모듈식 나눗셈, 순열 합성 태스크 전반에 걸쳐, GeomDR은 그로킹 동역학을 일관되게 변화시키며, 개입 일정과 목표 차원수에 따라 일반화 발생 시점을 크게 앞당길 수 있다. 일부 환경에서는 표준 AdamW 학습 대비 최대 52배까지 그로킹이 가속화된다. 다층 퍼셉트론과 트랜스포머 모두에서 질적으로 유사한 효과가 관찰된다. 이러한 결과들은 종합적으로, 표현 기하학이 그로킹에 대한 효과적인 제어 신호로 기능할 수 있음을 시사하며, 기하학적 개입이 신경망의 지연된 일반화를 연구하고 영향을 미치는 실용적인 접근법을 제공한다는 증거를 제시한다.
Adam 옵티마이저와 가중치 감쇠 정규화의 최적화 역학이 파라미터 공간에서 초기화 해·암기화 해·일반화 해가 동심구형 셸-코어(shell-core) 위상 구조를 이루도록 유도함을 이론적으로 규명하고, 이 구조가 지연 일반화(grokking) 현상의 근원임을 보인다. 정지 시간(stopping-time) 이론과 확률 미분 방정식(SDE) 분석을 통해 학습률, 배치 크기, ℓ₂ 정규화 계수에 대한 grokking 스케일링 법칙을 도출하고, 모듈러 산술 및 군론적 학습 과제 실험으로 검증한다.
특징 학습 커널의 Recursive Feature Machine(RFM) 알고리즘으로 대수적 과제에서 그로킹(grokking)을 분석했으며, 학습 데이터의 특정 대칭이 깨질 때만 일반화가 발생함을 실험적으로 확인했다. RFM은 데이터에 내재된 불변 군 작용을 복원하며 일반화하고, 학습된 특징 행렬이 대칭 군의 원소를 인코딩해 일반화가 대칭에 의존하는 이유를 설명한다.