확장 폭 네트워크에서의 급격한 특징 학습 전이와 베이즈 최적 신경 스케일링 법칙
Sharp feature-learning transitions and Bayes-optimal neural scaling laws in extensive-width networks
한국어 초록
본 연구는 더 작은 학생 모델로의 지식 전이라는 맥락에서, 잡음이 있는 질의로부터 계층적 특징을 갖는 단일 은닉층 교사 네트워크를 학습하는 것의 정보 이론적 한계를 연구한다. 교사 네트워크의 폭 $k$ 가 입력 차원 $d$ 에 선형적으로 비례하는 고차원 영역을 다루는데, 이는 크지만 유한한 폭의 네트워크를 포착하는 설정으로 최근에야 해석적으로 다룰 수 있게 되었다. 전반적으로 수치적으로 검증된 휴리스틱 leave-one-out 분리 논증을 이용하여, 닫힌 형태의 고정점 방정식 체계를 통해 베이즈 최적 일반화 오차와 개별 특징 중첩도를 점근적으로 정밀하게 특성화한다. 이 방정식들은 특징의 학습 가능성이 일련의 급격한 상전이에 의해 결정됨을 보여준다. 즉, 데이터가 늘어남에 따라 교사의 특징들이 순차적으로 복원 가능해지며, 각각은 중첩도의 불연속적 도약을 통해 이루어진다. 이러한 순차적 획득은 주어진 데이터 규모 $n$ 에서 학습 가능한 특징의 수인 \textit{유효 폭} $k_c$ 라는 정밀한 개념의 기반이 되며, 이는 두 가지 서로 다른 스케일링 영역을 통합한다. 하나는 베이즈 최적 일반화 오차 $\varepsilon^{\rm BO}$ 가 $ n^{1/(2\beta)-1}$ 로 스케일링되는 특징 학습 영역이고, 다른 하나는 $n^{-1}$ 로 스케일링되는 정련 영역이다. 여기서 $\beta>1/2$ 는 거듭제곱 법칙 특징 계층의 지수이다. 두 법칙은 하나의 관계식 $\varepsilon^{\rm BO}=\Theta(k_c d/n)$ 로 통합된다. 또한 유효 폭 $k_c$ 근처에서 \textsc{Adam} 으로 학습한 학생 모델이 (작은 알고리즘적 격차를 제외하고) 이러한 최적 스케일링 법칙을 달성함을 실험적으로 보이고, 모델 크기에 따른 관련 스케일링에 대한 정보 이론적 설명을 제시한다.
원문 초록
We study the information-theoretic limits of learning a one-hidden-layer teacher network with hierarchical features from noisy queries, in the context of knowledge transfer to a smaller student model. We work in the high-dimensional regime where the teacher width $k$ scales linearly with the input dimension $d$ -- a setting that captures large-but-finite-width networks and has only recently become analytically tractable. Using a heuristic leave-one-out decoupling argument, validated numerically throughout, we derive asymptotically sharp characterizations of the Bayes-optimal generalization error and individual feature overlaps via a system of closed fixed-point equations. These equations reveal that feature learnability is governed by a sequence of sharp phase transitions: as data grows, teacher features become recoverable sequentially, each through a discontinuous jump in overlap. This sequential acquisition underlies a precise notion of \textit{effective width} $k_c$ -- the number of learnable features at a given data budget $n$ -- which unifies two distinct scaling regimes: a feature-learning regime in which the Bayes-optimal generalization error $\varepsilon^{\rm BO}$ scales as $ n^{1/(2\beta)-1}$, and a refinement regime in which it scales as $n^{-1}$, where $\beta>1/2$ is the exponent of the power-law feature hierarchy. Both laws collapse to the single relation $\varepsilon^{\rm BO}=\Theta(k_c d/n)$. We further show empirically that a student trained with \textsc{Adam} near the effective width $k_c$ achieves these optimal scaling laws (up to a small algorithmic gap), and provide an information-theoretic account of the associated scaling in model size.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.10395v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.