보간 근처 광폭(extensive-width) 얕은 신경망에서의 최적 일반화와 학습 전이
Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation
폭 $k$와 입력 차원 $d$가 크고 비례하는, 완전히 학습된 2층 신경망을 사용하는 지도 학습의 teacher-student 모델을 고려한다. 임의의 활성화 함수에 대해, 표본 크기 $n$이 입력 차원과 이차적으로 스케일링하는 영역, 즉 학습 가능한 파라미터 수 $kd+k$와 데이터 $n$이 비슷한 보간 임계값 근처에서, 신경망의 베이즈 최적 일반화 오차를 근사하는 유효 이론을 제공한다. 분석은 일반적인 가중치 분포를 다룬다. "범용(universal)" 단계와 "특화(specialisation)" 단계를 구분하는 불연속 상전이를 밝혀낸다. 전자에서는 일반화 오차가 가중치 분포와 무관하며 샘플링 비율 $n/d^2$에 따라 느리게 감쇠하고, 학생 모델은 교사 가중치의 일부 비선형 결합만 학습한다. 후자에서는 오차가 가중치 분포에 의존하며, 학생 모델이 교사 신경망을 향해 정렬(alignment)되면서 더 빠르게 감쇠한다. 따라서 보간 근처에 매우 예측력 있는 해가 존재함을 밝히지만, 실용적인 알고리즘으로는 찾기 어려울 수 있다.