PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.25813v3cs.LG

그로킹에서 정규화 기반 동역학의 창발 과정 매핑

Mapping the Emergence of Regularization-Driven Dynamics in Grokking

과매개변수화된(overparameterized) 신경망에서는 여러 해가 학습(training) 데이터를 동등하게 잘 적합하면서도 보지 않은 샘플에 대해서는 매우 다르게 동작할 수 있습니다. 그로킹(grokking)은 학습 적합과 가시적인 일반화를 분리하여, 이러한 해 선택이 학습 중에 어떻게 전개되는지 연구할 수 있는 창을 제공합니다. 본 연구에서는 일반화 이전 정체기(plateau) 전반에 걸쳐 짧고 고정된 기간의 가중치 감쇠(weight decay, WD) 섭동(perturbation)을 가하고, 이것이 이후 일반화 시점을 어떻게 변화시키는지 측정합니다. 세 가지 그로킹 태스크 전반에서, 이러한 변화는 정체기 초기에는 무질서하지만 가시적인 일반화가 일어나기 전 점차 안정적인 투여량 순서(dose ordering)를 형성합니다. 즉, 더 강한 WD 증가는 더 이른 일반화로 이어지고 더 강한 WD 감소는 더 늦은 일반화로 이어집니다. 섭동된 체크포인트와 기준선(baseline) 일반화 체크포인트 사이의 테스트 손실(loss) 장벽은 0으로 수렴하는 반면, 순서화된 타이밍 효과는 지속됩니다. Junior 등 (2025)의 그로킹 설정에서 $\ell_1$ 정규화(regularization)를 적용했을 때도 유사한 반응 재조직화가 관찰됩니다. 와딩턴(Waddington)의 발생학적 풍경(developmental landscape)을 비유로 삼아, 우리는 점점 더 제약되는 해 선택과 지속적인 투여량 순서 타이밍 변화의 이러한 결합을 그로킹 해 선택의 수로화(canalization)라고 부릅니다. 종합적으로 우리의 반응 맵과 손실 장벽 측정은 가시적 일반화 이전에 일어나는 동역학적 재조직화를 드러내며, 이는 안정적인 완만한 다양체(slow manifold)를 따라 움직이는 정규화 기반 이동이라는 이론적 묘사(Boursier et al., 2025)와 일치합니다.