한국어 초록
그로킹(grokking)은 모델이 학습 집합(training set)에 이미 과적합된 이후에 검증 집합(validation set)에 대한 일반화가 지연되어 나타나는 현상을 말한다. 트랜스포머(transformer)로 학습된 소규모 알고리즘 과제에서 처음 관찰되었지만, 그 근본 메커니즘은 아직 명확히 밝혀지지 않았다. 본 연구에서는 모드 연결성(mode connectivity)과 저손실 영역의 기하학적 구조에 기반한 분석 프레임워크를 제시한다. 이 프레임워크는 표준적인 모듈러 연산(modular-arithmetic) 설정이 항상 그로킹을 발생시키지는 않는다는 것을 예측한다: 대칭성을 보존하는 학습/검증 분할(train/validation split) 하에서, 검증 성능이 회복되지 않는 안정적인 반그로킹(anti-grokking) 사례를 관찰하였다. 이 반례는 그로킹에 대한 기존의 여러 상관관계 기반 설명에 도전한다. 더 넓게 보면, 우리의 분석 프레임워크와 결과는 학습 분할과 검증 분할에 의해 유도된 저손실 영역이 서로 어긋날 때 그로킹이 발생함을 시사한다. 이러한 영역들이 잘 정렬되면, 학습 하이퍼파라미터(training hyperparameter)만으로는 그로킹을 발생시킬 수 없으며, 관찰되는 동역학은 학습 가능(trainable) 또는 학습 불가능(non-trainable) 행동 중 하나로 수렴한다.
원문 초록
Grokking refers to the delayed emergence of validation-set generalization after a model has already overfit the training set. Although first observed in small algorithmic tasks trained with transformers, its underlying mechanism remains unsettled. In this work, we develop an analysis framework based on mode connectivity and the geometry of low-loss regions. The framework predicts that the standard modular-arithmetic setting does not always produce grokking: under a symmetry-preserving train/validation split, we observe a stable anti-grokking case in which validation performance does not recover. This counterexample challenges several existing correlational explanations of grokking. More broadly, our analysis framework and results further suggest that grokking arises when the low-loss regions induced by the training and validation partitions are misaligned. Once these regions become well aligned, training hyperparameters alone cannot produce grokking and the observed dynamics collapse to either trainable or non-trainable behavior.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.00620v2제출 시각 미확인
- arXiv:2610.00620v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.