모듈러 덧셈과 같은 기초적인 수학적 과제는 노이즈가 많고 검증하기 어려운 대규모 실제 환경에서는 확인하기 힘든 신경망의 동작 양상을 밝히는 데 유용한 도구로 활용되어 왔습니다. 이러한 연구들은 대개 단일 과제에 집중해 왔습니다. 그러나 현대의 언어 모델은 다음 토큰 예측 목적함수로 학습됨에도 불구하고 방대한 수의 과제에 노출됩니다. 본 연구에서는 정수 및 순열에 대한 서로 구별되면서도 관련된 과제들로 구축된 두 가지 수학적 과제 생태계인 IntWorld와 PermWorld를 소개합니다. 두 생태계 모두 과제들이 구별되면서도 서로 연결된 응집력 있는 수학적 '세계' 내에서 과제 다양성을 시뮬레이션하도록 설계되었습니다. 데이터셋이 절차적으로 생성되기 때문에 과제의 수를 정밀하게 조절할 수 있으며, 이를 통해 학습에서 다른 요인들과 분리하여 과제 다양성의 역할을 밝혀내기 시작할 수 있습니다. 데이터셋을 소개한 후, 과제 다양성을 늘리는 것이 모델 내부 표현의 풍부함을 증가시킨다는 견해를 뒷받침하는 초기 결과를 제시합니다.
Muon으로 학습(training)된 모듈러 연산 트랜스포머는 선형적으로 디코딩 가능한 태스크 정보를 유지하면서도 정확도를 잃을 수 있습니다. 인접 교체 분석을 통해 포착된 5건의 비정규화 실패 원인이 AdamW 판독(readout) 업데이트에 위치함을 국소화했습니다. 실제 판독 변위에 큰 특징(feature) 평균을 곱하면 입력 전반에 공유되는 클래스 종속적 로짓(logit) 오프셋이 발생하며, 이는 각 실패를 거의 재현합니다. 학습 전용 디코더는 98.20~100%의 미학습 검증(held-out) 정확도를 복원합니다. 교차 엔트로피(cross-entropy) 도함수(derivative) 오차를 교정하면 100,000단계까지 5개의 일치된 브랜치가 안정화되지만, 향후 정확한 CE RMS를 적용한 4건의 실험은 임베딩(embedding) 업데이트를 통해 실패합니다.
수는 표준 신경망 임베딩(neural embedding)이 종종 드러내지 못하는 대수적 구조를 갖는다. 본 논문에서는 정수를 $\mathbb{Q}$의 조화 해석(harmonic analysis)에서 유도된 소수 인덱스 $(\cos, \sin)$ 쌍으로 인코딩하는 소수 푸리에 임베딩(Prime Fourier Embeddings, PFE)을 제안한다. 이는 모듈러 산술(modular arithmetic)이 대수적 구조를 처음부터 학습하여 발견하는 대신 관련된 소수 채널을 선택하는 문제로 단순화되는 사전 구조화된 표현을 제공한다. 또한 PFE 상의 곱군(product group) 작용에 대해 등변(equivariant)인 모든 선형 사상은 소수마다 하나의 독립적인 블록을 갖는 블록 대각(block-diagonal) 형태여야 함을 증명하며, 이는 결과적인 지표 분해(character decomposition)에 슈어 보조정리(Schur's lemma)를 적용한 결과이다. 제곱인수가 없는 합성수 법(square-free composite moduli)의 경우, 중국인의 나머지 정리(Chinese Remainder Theorem)를 통해 어떤 소수 채널이 과제와 관련되는지 예측할 수 있다. 두 예측은 실험적으로 모두 검증되었다. 절제 연구(ablation study) 결과 과제 관련 채널과 무관한 채널 간의 특화 비율이 500배를 초과함을 확인하였으며, 테스트한 모든 제곱인수가 없는 합성수 법에 대해 완벽한 분포 내(in-distribution) 테스트 정확도를 달성했다.
소형 트랜스포머가 모듈러 곱셈을 그로크(grok)할 때, 선행 연구에서는 학습된 임베딩이 모든 주파수가 필요한 "조밀한(dense)" 푸리에 스펙트럼을 가진다고 보고했습니다. 이는 소수의 핵심 주파수만으로도 충분한 모듈러 덧셈과 대조됩니다. 우리는 이러한 조밀성이 잘못된 기저(basis)에서 분석한 데서 비롯된 인공적인 산물임을 보여줍니다. 곱셈에 대한 자연스러운 푸리에 변환은 표준적인 가법적 DFT가 아니라, 승법군 $(\mathbb{Z}/p\mathbb{Z})^*$ 위의 함수를 기약 표현(irreducible representations)으로 분해하는 승법적 문자 변환(multiplicative character transform)입니다. $a \cdot b \bmod 113$으로 학습된 그로크된 트랜스포머에 이 변환을 적용한 결과, 임베딩 스펙트럼은 단 4개의 핵심 주파수만이 유의미한 에너지를 가지는 고도로 희소한 형태(지니 계수 0.58 vs 가법적 기저에서의 0.07)가 됨을 확인했습니다. 또한, MLP 뉴런의 96.9%는 단일 승법적 주파수에 명확하게 튜닝되어 있으며, 이산 로그(discrete logarithm)에 따라 재정렬했을 때 뉴런 활성화 히트맵은 2차원 주기적 구조를 드러냅니다. 이러한 결과는 트랜스포머가 이산 로그 공간에서 곱셈을 덧셈으로 환원하여, 덧셈에 대한 Nanda 등의 클럭 알고리즘과 유사한 "이산 로그 클럭(Discrete-Log Clock)" 알고리즘을 구현함을 입증합니다. 이 방법론은 일반화됩니다: 분석 기저를 작업의 대수적 구조와 일치시키면, 표준 도구가 노이즈로 인식하는 부분에서 해석 가능한 구조가 드러납니다.
Muon 옵티마이저는 모듈러 산술에서 AdamW보다 더 빠르게 그로킹 임계값에 도달한다. 선행 연구는 이를 "스펙트럴 노름 제약과 직교화된 모멘텀"에 기인한다고 설명하지만, 어떤 메커니즘이 중요한지는 분리하지 않았다. Muon의 거동을 더 잘 이해하기 위해, 우리는 다중 시드 및 다중 학습률 스윕을 수행하여 그 효과를 분해하고 스트레스 테스트한다. 첫째, 어블레이션(ablation) 결과 속도 향상은 직교화(Newton-Schulz 반복)에서 비롯됨을 보여준다: 직교화만 수행하는 설정은 전체 Muon과 일치하는 반면, 스펙트럴만 적용하는 설정은 AdamW보다 빠르지 않으며 불안정하고, 이 결론은 학습률 전반에 걸쳐 성립한다. 둘째, 기계론적 분석은 직교화 옵티마이저가 대략 3배 낮은 스펙트럴 노름에서 일반화에 도달하며, 임베딩이 실제로 얼마나 이동하는지를 통제할 때 임베딩을 덜 교란하는 것이 아니라 더 낮은 노름의 해로 수렴함을 밝힌다. 셋째, Newton-Schulz 반복 횟수를 5회에서 1회로 줄이면 임계값 도달이 빨라지지만 그로킹된 해가 취약해지고 일시적 붕괴에 취약해지며, 그 취약성은 학습률이 커질수록 증가한다; 단일 반복은 작은 학습률에서만 빠르고 안정적이며, 표준 5회 반복이 학습률에 강건한 선택이다. 우리는 또한 스펙트럴 스케일링을 제거해도 측정된 비용이 없음을 보인다. 방법론적 실마리가 전반에 걸쳐 이어진다: 안정성 인식 지표 하에서 그로킹 옵티마이저에 대한 "더 빠르다"는 주장은 뒤집힐 수 있으므로, 우리는 최초 통과(first-crossing) 시간과 지속적 그로킹(sustained-grok) 시간을 모두 보고한다. 재현성을 위해 전체 학습 및 분석 코드를 https://github.com/louiswang524/muon-grokking-frontier 에 공개한다.
모듈러 산술(modular arithmetic)에 대해 학습된 신경망은 grokking, 즉 암기(memorisation)에서 일반화(generalisation)로의 지연된 전환을 보이며, 이는 모델 용량에 의존하는 것으로 알려져 있다: 용량이 너무 적으면 네트워크는 느리게 암기하거나 전혀 암기하지 못하고, 너무 많으면 거의 즉시 일반화한다. 아키텍처가 표현할 수 있는 함수 클래스(function class)가 유한차원 대수적 다양체(algebraic variety)로 축소되는 이 스펙트럼의 극단에서는 무엇이 일어나는가? 우리는 전해 단항식(monomial) 활성화 σ(z)=z^k를 사용하는 2층 네트워크를 연구하며, 이는 단위근(roots of unity)을 통해 인코딩된 모듈러 과제에 대해 학습된다. 여기서 네트워크 출력은 은닉 너비와 무관하게 (Z_p)^2의 특(character)들의 (k+1)차원 부분공간에 한정되며, 이는 전체 함수 공간의 O(k/p^2) 크기 조각에 해당한다. 우리는 이 부분공간에 대한 완전한 대수적 특성화를 제공한다: 어떤 과제가 표현 가능(representable)한지는 그 이산 푸리에(Discrete Fourier) 지지(support)가 대각선 u+v = k (mod p) 위에 놓이는지에 달려 있으며, 선형 위상(linear-phase) 타깃의 경우 이는 산술적 기준 m+n=k로 환원된다. 이는 최종적인 일반화뿐만 아니라 암기 자체에 대한 제약이다: 출력이 대수적으로 한정되기 때문에, 표현 불가능한 타깃은 학습 집합에서조차 적합(fit)될 수 없으며, 우리는 너비와 무관한 학습 손실의 양의 하한(positive lower bound)을 증명한다. 585회 실행에 걸쳐 대수적 예측은 관측된 결과와 99.8% 정확도로 일치하며, 암기 체제(regime)도 grokking도 없다; 결과는 즉각적 성공과 완전한 실패로 깔끔하게 나뉜다. 이 이진(binary)적 거동은 용량-grokking 관계의 극한 경우(limiting case)이다: 표현 가능한 클래스가 고정된 대수적 객체(object)로 축소되면, 네트워크가 언제 grok할지라는 질문은 결국 타깃을 아예 표현할 수 있는지 여부로 환원(dissolves)된다. 병목(bottleneck) 절제(ablation)는 이 극단을 표준 네트워크와 연결하며, 표현 실패(representational failure)에서 일반화 없는 암기를 거쳐, 용량이 커질수록 간격(gap)이 줄어드는 grokking까지 이어지는 연속적인 경로를 추적한다.
푸리에 기반 알고리즘 회로 동기화를 사전 지식 없이 측정하는 FSD(Frequency Synchronization Degree)를 제안하고, 모듈러 덧셈 학습에서 그로킹(grokking)보다 평균 1722 스텝 먼저 동기화가 일어나 가장 이른 예측 변수임을 아홉 구성에서 확인했다. 위상 간 갭이 정규화(regularisation) 현상이며 Δt ∝ 1/λ 법칙으로 제어 가능함을 인과적으로 검증했고, FSD 천장에서 가중치 감쇠를 늘리면 고정 스케줄 대비 그로킹이 36–43% 가속된다.