arXiv:2608.25813v3 cs.LG

그로킹에서 정규화 기반 동역학의 창발 과정 매핑

Mapping the Emergence of Regularization-Driven Dynamics in Grokking

Yiming Lin, Yuxuan Wang

제출 2026-08-26

저자 비고

arXiv Comments

23 pages, 13 figures

한국어 초록

과매개변수화된(overparameterized) 신경망에서는 여러 해가 학습(training) 데이터를 동등하게 잘 적합하면서도 보지 않은 샘플에 대해서는 매우 다르게 동작할 수 있습니다. 그로킹(grokking)은 학습 적합과 가시적인 일반화를 분리하여, 이러한 해 선택이 학습 중에 어떻게 전개되는지 연구할 수 있는 창을 제공합니다. 본 연구에서는 일반화 이전 정체기(plateau) 전반에 걸쳐 짧고 고정된 기간의 가중치 감쇠(weight decay, WD) 섭동(perturbation)을 가하고, 이것이 이후 일반화 시점을 어떻게 변화시키는지 측정합니다. 세 가지 그로킹 태스크 전반에서, 이러한 변화는 정체기 초기에는 무질서하지만 가시적인 일반화가 일어나기 전 점차 안정적인 투여량 순서(dose ordering)를 형성합니다. 즉, 더 강한 WD 증가는 더 이른 일반화로 이어지고 더 강한 WD 감소는 더 늦은 일반화로 이어집니다. 섭동된 체크포인트와 기준선(baseline) 일반화 체크포인트 사이의 테스트 손실(loss) 장벽은 0으로 수렴하는 반면, 순서화된 타이밍 효과는 지속됩니다. Junior 등 (2025)의 그로킹 설정에서 $\ell_1$ 정규화(regularization)를 적용했을 때도 유사한 반응 재조직화가 관찰됩니다. 와딩턴(Waddington)의 발생학적 풍경(developmental landscape)을 비유로 삼아, 우리는 점점 더 제약되는 해 선택과 지속적인 투여량 순서 타이밍 변화의 이러한 결합을 그로킹 해 선택의 수로화(canalization)라고 부릅니다. 종합적으로 우리의 반응 맵과 손실 장벽 측정은 가시적 일반화 이전에 일어나는 동역학적 재조직화를 드러내며, 이는 안정적인 완만한 다양체(slow manifold)를 따라 움직이는 정규화 기반 이동이라는 이론적 묘사(Boursier et al., 2025)와 일치합니다.

원문 초록

For overparameterized neural networks, many solutions can fit the training data equally well while behaving very differently on unseen samples. Grokking separates training fit from visible generalization, providing a window for studying how this selection develops during training. We sweep short, fixed-duration weight decay (WD) perturbations across the pre-generalization plateau and measure how they shift later generalization time. Across three grokking tasks, these shifts are unordered early in the plateau but later form a stable dose ordering before visible generalization, with stronger WD increases leading to earlier generalization and stronger WD decreases leading to later generalization. Test-loss barriers between perturbed and baseline generalization checkpoints collapse toward zero while the ordered timing effects persist. A similar response reorganization is observed under $\ell_1$ regularization in the grokking setting of Junior et al. (2025). Drawing on Waddington's developmental landscape as an analogy, we call this combination of increasingly constrained solution selection and persistent dose-ordered timing shifts the canalization of grokking solution selection. Together, our response maps and loss-barrier measurements reveal a dynamical reorganization before visible generalization that is consistent with the theoretical picture of regularization-driven motion along a stable slow manifold (Boursier et al., 2025).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25813v3
  2. arXiv:2608.25813v2제출 시각 미확인
  3. arXiv:2608.25813v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26679v1cs.LG공통 태그 grokking, weight decay

그로킹의 스펙트럴 이론: 가중치 감쇠가 유도하는 특징 학습

A Spectral Theory of Grokking: Weight Decay induces Feature Learning

그로킹(grokking)에서는 학습 데이터에 대한 초기 적합이 일반화의 훨씬 늦은 개선과 분리된다. 이 지연 기간 동안 학습은 고정된 신경 접선 커널(NTK) 영역에서 과제 관련 커널 고유방향이 계속 진화하는 영역으로 이동할 수 있다. 우리는 lazy에서 rich 학습으로의 이러한 전환이 어떻게 지연된 일반화를 만들어낼 수 있는지에 대한 정량적 이론을 제공한다. 제곱 손실과 $L_2$ 가중치 감쇠로 학습된 동차(homogeneous) 네트워크에 대해, 암기(memorization) 이후에도 유한한 잔차가 남으며, 더 작은 NTK 고유값과 연관된 목표 성분에서는 더 큰 잔차 비율이 나타남을 보인다. 이 잔차들은 NTK 자체의 동역학에 되먹임되며, 결과 동역학을 과제 관련 스펙트럴 방향으로 투영하면 잔차가 주도하는 커널 성장과 가중치 감쇠가 경쟁하는 축약 시스템이 얻어진다. 이 시스템은 그로킹 시간 척도가 학습률과 가중치 감쇠의 곱에 의해 제어되며, 특징 학습이 임계 감쇠 근처에서 로그적으로 느려지고 그 이상에서는 과제 정렬 NTK 구조가 더 이상 일반화를 지탱할 수 없으며, 더 강한 감쇠가 적합(fitting) 자체를 막을 수 있음을 예측한다. 모듈러 덧셈(modular addition)에서 이러한 예측을 검증한다. 동차 MLP에서는 학습 정확도가 포화된 후에도 NTK에서 과제 정렬 푸리에 구조가 계속 출현하며, 다양한 학습률과 가중치 감쇠에 걸친 학습된 네트워크의 84$\times$90 격자가 예측된 위상(phase) 기하와 일반화 시간의 학습률·가중치 감쇠에 대한 역곱 스케일링을 재현한다. 1블록 트랜스포머는 정확한 동차성을 위반함에도 불구하고 42$\times$45 격자에서 유사한 거시적 위상 구조와 동일한 전환 시간 스케일링을 보인다. 종합하면, 이 결과들은 적합 이후 특징 학습을 일반화의 시작과 학습률·가중치 감쇠 평면에서의 위상 구조 모두와 연결하는 기계론적 유도를 제공한다.

arXiv:2607.23967v1cs.AI공통 태그 grokking, weight decay

가중치 감쇠 시계 위의 그로킹: 약하게 깨진 대칭성으로부터의 속도 계층

Grokking on the Weight-Decay Clock: A Rate Hierarchy from Softly Broken Symmetries

지연된 일반화, 즉 그로킹(grokking)은 광범위한 실증 연구에도 불구하고 여전히 잘 이해되지 않는다. 우리는 전체 배치 heavy-ball 최적화와 가중치 감쇠(weight decay)로 학습된 선형 모델에서 그로킹에 대한 정확히 풀 수 있는 후기 이완 메커니즘을, 비선형 신경망에 대한 국소적으로 이차적인 확장과 함께 밝힌다. 우리의 분석은 경험적 영공간(empirical null space)의 구별되는 population-active 성분을 드러내며, 이를 그로킹 부분공간(grokking subspace)이라 부른다. 이 부분공간을 따라 학습 예측은 변하지 않아 가중치 감쇠만이 유일한 복원력이 되며, 정확한 이산 시간 및 연속 시간 법칙에 의해 지배되는 느린 소산 이완이 발생한다. 우리는 오직 이 부분공간만이 모집단 위험(population risk)의 느린 점근적 감쇠에 기여함을 보이고, 그로킹 시간에 대한 명시적인 반복(iteration) 규모 예측을 유도하여, 약한 정규화(regularization) 영역에서 잘 알려진 $(1-β)/(ηλ)$ 스케일링을 복원한다. 이 이론은 결합된 $L_2$ 정규화와 분리된(decoupled) 가중치 감쇠를 구별하여 옵티마이저 선택의 뚜렷한 효과를 추가로 예측하고, 그로킹 성분을 수정하는 개입에 대한 인과적 예측을 제공한다. 우리는 모든 부분공간과 이완 속도가 폐형(closed form)으로 계산 가능한 합성 모델에서, 적합 파라미터 없이 모든 이론적 항등식을 검증한다. 우리는 모듈러 덧셈(modular addition)에서 실제 지연된 일반화를 추가로 관찰하며, 측정된 지연이 예측된 스케일링을 따르고 후기 이완이 이론적 시계와 밀접하게 일치함을 확인한다.

arXiv:2607.20552v1cs.LG공통 태그 grokking, weight decay

열역학적 가중치 감쇠: 어텐션 비열을 통한 그로킹 가속 탐구

Thermodynamic Weight Decay: Exploring Grokking Acceleration via Attention Specific Heat

그로킹 — 신경망이 학습 데이터를 암기한 뒤 한참 지나서야 일반화가 늦게 일어나는 현상 — 은 수천 에포크의 학습을 낭비하며 예측하기 어렵기로 악명 높다. 최근 트랜스포머 어텐션이 형식적으로 열역학적 시스템과 동형(isomorphic)이라는 결과를 바탕으로, 우리는 어텐션 로짓의 분산을 비열 Cv로 취급하고 그 피크가 일반화 전환을 안정적으로 앞선다는 것을 보인다. 우리는 CvAdamW를 제안한다. 이는 Cv를 온라인으로 모니터링하고 상전이(phase transition)가 감지되면 가중치 감쇠를 동적으로 조절하여 열 에너지를 주입하는 AdamW의 드롭인(drop-in) 변형이다. 엄격한 반복적 개발 과정을 통해 우리는 세 가지 실패 모드 — 초기화 노이즈, 미니배치 미세 요동(micro-ripples), 슬링샷(slingshot) 블라인딩 — 을 식별하고, 암기 게이트(memorization gate)와 지수 이동 평균(exponential-moving-average) 충격 흡수기로 이를 해결한다. 모듈러 산술(a+b mod 97)에서 CvAdamW는 4000 에포크 예산 내에서 기준선이 전혀 그로킹하지 못하는 조건에서 2802 에포크에 그로킹을 가능하게 한다. 또한 작업별 하이퍼파라미터를 제거하는 스케일 불변 z-점수 재공식화를 제안하고 10개의 쌍을 이룬 시드(seed)에 걸쳐 이를 평가한다. 쌍 분석(paired analysis)에 따르면 콜드스타트(cold-start) 변형은 평균 그로킹 지연(latency)을 257 에포크(6.0%; 중앙값 166 에포크; Wilcoxon p=0.049, Cohen's d=0.68, bootstrap 95% CI [53,489])만큼 줄이며 10개 시드 중 8개에서 개선된다. 이 단일 작업에서 Cv 피크는 10개 시드 모두에서 그로킹 이전에 나타난다. 우리 결과는 신경망이 임박한 일반화 전환의 탐지 가능한 전구(precursor)를 드러낼 수 있으며, 물리적으로 동기 부여된 비례적 개입이 고정된 연산 예산 내에서 일반화를 촉진할 수 있음을 시사한다. 코드와 데이터는 공개되어 있다.

arXiv:2610.13750v1cs.LG공통 태그 grokking

작은 수학적 세계를 활용한 과제 다양성의 효과 연구

Studying the Effects of Task Diversity Using Small Mathematical Worlds

모듈러 덧셈과 같은 기초적인 수학적 과제는 노이즈가 많고 검증하기 어려운 대규모 실제 환경에서는 확인하기 힘든 신경망의 동작 양상을 밝히는 데 유용한 도구로 활용되어 왔습니다. 이러한 연구들은 대개 단일 과제에 집중해 왔습니다. 그러나 현대의 언어 모델은 다음 토큰 예측 목적함수로 학습됨에도 불구하고 방대한 수의 과제에 노출됩니다. 본 연구에서는 정수 및 순열에 대한 서로 구별되면서도 관련된 과제들로 구축된 두 가지 수학적 과제 생태계인 IntWorld와 PermWorld를 소개합니다. 두 생태계 모두 과제들이 구별되면서도 서로 연결된 응집력 있는 수학적 '세계' 내에서 과제 다양성을 시뮬레이션하도록 설계되었습니다. 데이터셋이 절차적으로 생성되기 때문에 과제의 수를 정밀하게 조절할 수 있으며, 이를 통해 학습에서 다른 요인들과 분리하여 과제 다양성의 역할을 밝혀내기 시작할 수 있습니다. 데이터셋을 소개한 후, 과제 다양성을 늘리는 것이 모델 내부 표현의 풍부함을 증가시킨다는 견해를 뒷받침하는 초기 결과를 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.