본 연구에서는 CIFAR-5m, SVHN, ImageNet을 포함한 실제 데이터셋에서 널리 쓰이는 회전 불변(rotation-invariant) 커널을 사용한 커널 회귀(kernel regression)를 연구합니다. 저자들은 경험적 데이터 공분산 행렬과 타깃 함수 $f_*$의 경험적 다항식 분해라는 단 두 가지 측정값만으로 학습 곡선(표본 크기 대비 테스트 위험도)을 예측하는 이론적 프레임워크를 제시합니다. 핵심적인 새로운 아이디어는 비등방성(anisotropic) 데이터 분포에 대한 커널의 고윳값 및 고유함수의 해석적 근사입니다. 고유함수는 데이터의 에르미트 다항식(Hermite polynomials)과 유사하므로, 이 근사를 에르미트 고유구조 가설(Hermite eigenstructure ansatz, HEA)이라고 부릅니다. 가우시안 데이터에 대해 HEA를 증명하였으며, 실제 이미지 데이터 또한 실제로 HEA가 잘 성립할 정도로 종종 "충분히 가우시안에 가까움"을 발견하여 커널 고유구조와 테스트 위험도를 연결하는 기존 연구 결과를 적용해 학습 곡선을 예측할 수 있음을 보였습니다. 커널 회귀를 넘어, 특징 학습(feature-learning) 영역의 MLP 또한 HEA가 예측한 순서대로 에르미트 다항식을 학습함을 경험적으로 확인했습니다. 본 HEA 프레임워크는 실제 데이터셋의 자명하지 않은 학습 알고리즘에 대해 데이터셋 구조를 모델 성능까지 완전히 연결하는 엔드투엔드(end-to-end) 학습 이론이 가능함을 보여주는 개념 증명입니다.
과매개변수화된 심층 네트워크의 일반화 문제를 해결하기 위해 정보 이론, 위상수학, 통계역학을 통합한 프레임워크를 제안하며, 핵심 개념인 엔트로피 학습 가능성 한계(Entropic Learnability Horizon, ELH)를 통해 데이터의 Shannon 엔트로피와 가중치의 von Neumann 엔트로피의 합이 결정 경계의 위상 엔트로피를 초과할 때만 진정한 학습이 가능함을 수학적으로 증명한다. 이 이론을 바탕으로 "그로킹(grokking)" 현상을 엔트로피 해방으로 재해석하고, 가중치 엔트로피를 동적으로 관리하는 새로운 최적화 알고리즘인 엔트로피 경사하강법(Entropic Gradient Descent, EGD)을 제시한다.
Deep learning has outgrown any single mathematical explanation. From Approximation to Emergence develops a unified, proof-oriented account of modern deep learning theory, tracing a path from the classical foundations of approximation, optimization, and generalization to the contemporary mechanisms of overparameterization, robustness, generative modeling, transformers, in-context learning, scaling laws, interpretability, alignment, and emergence. Rather than presenting isolated results, the book organizes a broad literature into a coherent research narrative: each theory is examined through the object it controls, the assumptions that make it valid, and the phenomena it leaves unexplained. Written for researchers, graduate students, and mathematically trained practitioners, this monograph offers a rigorous map of deep learning theory as it stands today: powerful, incomplete, and increasingly centered on the question of how learned mechanisms arise from scale, data, architecture, and training.
폭 $k$와 입력 차원 $d$가 크고 비례하는, 완전히 학습된 2층 신경망을 사용하는 지도 학습의 teacher-student 모델을 고려한다. 임의의 활성화 함수에 대해, 표본 크기 $n$이 입력 차원과 이차적으로 스케일링하는 영역, 즉 학습 가능한 파라미터 수 $kd+k$와 데이터 $n$이 비슷한 보간 임계값 근처에서, 신경망의 베이즈 최적 일반화 오차를 근사하는 유효 이론을 제공한다. 분석은 일반적인 가중치 분포를 다룬다. "범용(universal)" 단계와 "특화(specialisation)" 단계를 구분하는 불연속 상전이를 밝혀낸다. 전자에서는 일반화 오차가 가중치 분포와 무관하며 샘플링 비율 $n/d^2$에 따라 느리게 감쇠하고, 학생 모델은 교사 가중치의 일부 비선형 결합만 학습한다. 후자에서는 오차가 가중치 분포에 의존하며, 학생 모델이 교사 신경망을 향해 정렬(alignment)되면서 더 빠르게 감쇠한다. 따라서 보간 근처에 매우 예측력 있는 해가 존재함을 밝히지만, 실용적인 알고리즘으로는 찾기 어려울 수 있다.
Adam 옵티마이저와 가중치 감쇠 정규화의 최적화 역학이 파라미터 공간에서 초기화 해·암기화 해·일반화 해가 동심구형 셸-코어(shell-core) 위상 구조를 이루도록 유도함을 이론적으로 규명하고, 이 구조가 지연 일반화(grokking) 현상의 근원임을 보인다. 정지 시간(stopping-time) 이론과 확률 미분 방정식(SDE) 분석을 통해 학습률, 배치 크기, ℓ₂ 정규화 계수에 대한 grokking 스케일링 법칙을 도출하고, 모듈러 산술 및 군론적 학습 과제 실험으로 검증한다.
심층 학습의 실용적 성공은 여러 놀라운 현상의 발견으로 이어졌다. 이러한 현상 중 하나로, 강도 높은 이론적 연구를 촉발한 ``무해한 과적합(benign overfitting)''이 있다: 심층 신경망은 잡음이 있는 학습 데이터에 완벽하게 피팅됨에도 불구하고 과잉 매개변수화(over-parametrized) 체제에서 일반화가 잘 되는 것으로 보인다. 현재는 무해한 과적합이 다양한 고전적 통계 모델에서도 발생함이 알려져 있다. 선형 최대 마진 분류기의 경우, 무해한 과적합은 공변량 분포에 매우 강한 가정을 두는 혼합 모델 계열에서 이론적으로 확립되었다. 그러나 이 단순한 설정에서도 많은 문제가 여전히 미해결로 남아 있다. 예를 들어, 기존 문헌 대부분은 모든 실제 클래스 레이블이 오류 없이 관측되는 무잡음 경우에 초점을 맞추고 있는 반면, 더 흥미로운 잡음 있는 경우는 여전히 충분히 이해되지 않고 있다. 우리는 선형 최대 마진 분류기에 대한 무해한 과적합을 종합적으로 연구한다. 우리는 잡음 있는 모델에서 테스트 오류 경계에 대한 위상 전이(phase transition)를 새롭게 발견하고, 그 배경에 있는 기하학적 직관을 제시한다. 나아가 잡음 있는 경우와 무잡음 경우 모두에서 필요한 공변량 가정을 상당히 완화한다. 우리의 결과는 최대 마진 분류기의 무해한 과적합이 이전에 알려진 것보다 훨씬 더 넓은 범위의 시나리오에서 성립함을 보여 주며, 그 기저 메커니즘에 대한 새로운 통찰을 제공한다.
이 논문은 다양한 분포의 데이터를 활용할 수 있는 전이학습 환경에서 풀링된 최소-$\ell_2$-노름 보간의 일반화 오차를 규명한다. 최소-노름 보간자는 현대 기계학습 알고리즘의 암묵적 정규화 한계로서 자연스럽게 발생한다. 선행 연구들은 학습 중 테스트 분포의 샘플을 사용할 수 없는 경우의 분포 외(out-of-distribution) 위험을 분석해 왔다. 그러나 많은 응용에서 학습 시점에 제한된 수의 테스트 샘플이 이용 가능할 수 있으며, 이 경우 최소-노름 보간의 특성은 충분히 이해되지 않은 채로 남아 있다. 우리는 공변량 이동(covariate shift)과 모델 이동(model shift) 모두에서 풀링된 최소-$\ell_2$-노름 보간의 바이어스와 분산을 특성화함으로써 이 공백을 해소한다. 우리의 결과는 몇 가지 중요한 시사점을 제공한다. 모델 이동 하의 특정 경우에서, 신호 대 잡음 비(SNR)가 낮을 때 데이터를 추가하면 항상 성능이 저하됨을 보인다. 더 높은 SNR 수준에서는 이동-대-신호 비가 우리가 명시적으로 특성화한 임계값 아래로 떨어질 때 전이학습이 유익하다. 공변량 이동 하에서는, 소스 샘플 크기가 차원에 비해 작을 때 도메인 간 이질성이 클수록 위험이 감소하며, 그 반대의 경우도 성립함을 발견한다. 모델 이동 결과는 처음에 가우시안 설계에 대해 수립되지만, 보편성 논증을 통해 더 일반적인 설계로 확장된다. 보간 학습 너머로 우리의 기술적 도구의 더 넓은 적용 가능성을 보이기 위해, 풀링된 보간자를 초기화로 사용하고 타깃 데이터로 결과적인 바이어스를 보정하는 바이어스 보정 추정기의 위험을 특성화한다. 기술적 측면에서, 우리는 새로운 비등방성 국소 법칙과 Lindeberg 교환 논증을 개발하며, 이는 랜덤 행렬 이론과 보편성 분석에서 독립적으로 관심을 가질 수 있는 도구를 제공한다. 마지막으로, 우리의 결과의 유한 샘플 효과를 보여주는 시뮬레이션으로 이론을 보완한다.
현대 기계학습에서 모델 크기와 데이터에 따라 성능이 어떻게 공동으로 스케일링되는지 이해하는 것은 핵심 문제이다. 스케일링 법칙에 대한 기존 이론 연구는 일반적으로 일반화를 데이터 또는 연산량(compute)의 함수로 서술하며, 종종 고정 특징(fixed-feature) 또는 무한 폭(infinite-width) 영역에서, 그리고 온라인 SGD에 대해 다룬다. 본 연구에서는 대신 특징 학습(feature-learning) 모델에서 일반화가 학습 가능한 파라미터 수와 샘플 수에 따라 어떻게 스케일링되는지를 분석한다. 구조화된 데이터를 갖는 유한 샘플(finite-sample) 설정에서, 2차 2층 네트워크에 대한 $\ell_2$ 정규화 경험적 테스트 오차 최소화를 분석한다. 이 설정은 샘플 수, 모델 폭, 정규화의 함수로서 일반화 오차에 대한 명시적 특성화를 가능하게 한다. 우리 결과는 파라미터 수가 변함에 따라 구별되는 스케일링 영역을 갖는 상전이도(phase diagram)를 보여준다. 특히 일반화 오차는 목표(target)의 스펙트럴 구조(spectral structure)에 의해 제어되는 데이터 의존적 멱법칙(power laws)을 따른다. 또한 보간(interpolation)의 시작을 포함하여 영역 간 전이와 이들이 일반화에 미치는 영향을 추가로 특성화한다.
대규모 언어 모델(LLM)에서 문맥 내 학습(ICL)의 성능을 이끄는 요인들은, 모델이 소수의 예시만으로 새로운 태스크에 적응할 수 있다는 ICL의 놀라운 효과성에도 불구하고, 아직 제대로 이해되지 않고 있다. 이러한 능력을 명확히 규명하고 향상시키기 위해, 우리는 사전학습 분포의 통계적 특성(예: 꼬리 거동, 커버리지)이 ICL을 어떻게 형성하는지 분석한다. 우리는 일반화와 태스크 선택을 포괄하는 이론적 프레임워크를 개발하고, 분포적 특성이 샘플 효율성, 태스크 검색, 그리고 강건성을 어떻게 지배하는지 보인다. 이를 위해 기존의 집중 결과(concentration results)를 중꼬리 사전(heavy-tailed priors) 및 종속 시퀀스로 일반화하여 LLM 사전학습 데이터의 구조를 보다 잘 반영한다. 우리의 프레임워크는 근본적인 설계 트레이드오프를 드러낸다: 중꼬리 사전학습 분포는 분포 이동 하에서 강건한 태스크 선택을 촉진하지만, 특히 데이터가 적은 환경에서 일반화에는 해롭다. 이어서 확률 미분 방정식 및 메모리를 가진 확률 과정과 같은 어려운 태스크에서 사전학습 분포에 따라 ICL 성능이 어떻게 달라지는지를 연구함으로써 우리의 예측을 실증적으로 평가한다. 이러한 결과들은 종합적으로, 사전학습 분포의 핵심 통계적 특성을 제어하는 것이 ICL 능력을 갖춘 신뢰할 수 있는 LLM을 구축하는 데 필수적임을 시사한다.
신경망 접선 커널(NTK) 영역 내에서 과매개변수화 신경망에 대한 경사하강법의 통계적 일반화 성능을 이해하는 데 최근 진전이 있었습니다. 그러나 회귀 문제에 대한 기존 연구 대부분은 얕은 네트워크 아키텍처로 제한되어 있어, 심층 신경망 이론에 상당한 공백이 남아 있습니다. 본 논문은 경사하강법(GD)과 확률적 경사하강법(SGD)으로 학습된 심층 ReLU 네트워크에 대한 포괄적인 일반화 분석을 제시하여 이 공백을 해결합니다. 구체적으로, 네트워크 폭이 네트워크 깊이와 학습 샘플 크기에 대해 다항식적으로 스케일링된다는 가정 하에, 심층 ReLU 네트워크를 사용하는 GD와 SGD 모두에 대해 알려진 첫 번째 초과 모집단 위험의 미니맥스 최적 속도를 확립합니다. 우리의 결과는 충분한 폭이 주어지면, 심층 ReLU 네트워크에 대한 경사하강법이 커널 방법과 대등한 최적의 일반화 속도를 달성할 수 있음을 보여줍니다.