본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.
압축 스키마(compression schemes)는 학습 알고리즘에 대한 데이터 의존적 위험 상한(risk bound)을 유도하기 위한 일반적인 프레임워크를 제공합니다. 선호 압축(preferent compression) 기반 학습 규칙의 경우, 기존 연구 결과들은 복원된 가설이 부적절한 학습(training) 예제들이 더해진 압축 집합의 크기로 정의되는 샘플 의존적 복잡도 $\boldsymbol{k}$를 바탕으로 위험의 상한을 설정합니다. 그러나 이러한 결과들은 $\boldsymbol{k}/N$ 위에 $O(\sqrt{\ln N/N})$ 차수의 마진(margin)을 유발합니다. 본 논문에서는 이 로그 팩터가 본질적인 것이 아님을 규명합니다. 우리는 모든 고정된 신뢰 수준 $1-δ$에 대해, 위험이 적어도 $1-δ$의 확률로 모든 가능한 $\boldsymbol{k}$ 값에 걸쳐 균일하게 다음과 같이 제한됨을 증명합니다:
$$ \frac{\boldsymbol{k}}{N} + O\left(\frac{1}{\sqrt{N}}\right) $$
따라서 선호 압축 기반 학습 알고리즘의 위험 추정치는 고정된 사건 확률의 경험적 추정치와 동일한 큰 수의 법칙 수렴 속도를 달성합니다. 또한 우리는 주요 항인 $\boldsymbol{k}/N$이 필수적임을 보이고, 이것과 경험적 위험(empirical risk) 간의 관계를 조사합니다. 특히, 경험적 위험이 $O(1/\sqrt{N})$ 수렴(convergence) 속도를 유지하는 체계뿐만 아니라, 복잡도 기반 추정기가 $O(1/\sqrt{N})$ 속도를 보존하는 반면 경험적 위험은 더 느리게 수렴하거나 일치성(consistency)을 잃는 체계를 규명합니다.
고차원 기하학 및 통계적 학습 이론 관점에서 신경망을 통한 대규모 데이터셋 분류기의 근사와 학습을 연구한다. 신경망의 입출력 함수 집합이 지닌 VC 차원이 근사 능력에 미치는 영향을, 데이터 표본으로부터의 학습 일관성(consistency)에 미치는 영향과 비교한다. 유한한 VC 차원은 경험적 오차의 균등 수렴(uniform convergence)에 바람직하지만, 주어진 유형의 응용 분야에서 함수가 나타날 가능도(likelihood)를 모델링하는 확률 분포로부터 추출된 함수를 근사하는 데는 바람직하지 않을 수 있음을 보인다. 고차원 기하학의 측도 집중(concentration of measure) 특성을 바탕으로, 대규모 데이터셋을 처리할 때 유한한 VC 차원을 갖는 입출력 함수 집합을 구현하는 신경망에서는 근사 오차와 경험적 오차 모두 거의 결정론적으로 동작함을 증명한다. 보편 근사 특성(universal approximation property)의 실질적 한계, 근사 정확도와 데이터 학습 일관성 사이의 상충 관계(trade-off), 그리고 렐루(ReLU) 유닛을 사용하는 신경망의 깊이가 정확도와 일관성에 미치는 영향에 대해 논의한다.
우리는 이진 관계에 부호화된 충분히 큰 2-트리로부터 순서 속성(order property)을 추출하는 Hodges의 정량적 결과에 대한 함수론적 대응(analogue)을 증명한다. 함수에 대한 유사한 대응은 이전에 Daskalakis와 Golowich, 그리고 Anderson과 Benedikt에 의해 얻어졌다. 이러한 결과들은 통계적 학습 이론(statistical learning theory)에서 비롯되며, 여기서 2-트리는 순차 fat-shattering 차원(sequential fat-shattering dimension)으로 포착되고, 순서 속성은 다양한 "임계값(threshold)" 개념들에 의해 제어된다. 우리의 첫 번째 주요 결과(정리 1.11)는 트리로부터 덜 제한적인 종류의 임계값을 추출하는 데 초점을 맞추며, 더 제한적인 버전에 초점을 맞춘 이전 결과들로부터 얻을 수 있는 것보다 훨씬 더 나은 상계를 제공한다. 정리 1.11에 대한 동기의 일부는 동반 논문에 있으며, 그 논문에서 이 정리는 "안정 함수(stable functions)"에 대한 정량적 regularity lemma에서 효율적인 상계를 얻는 데 사용된다. 여기서는 정리 1.11을 사용하여 Anderson과 Benedikt의 결과를 더 강한 형태와 개선된 상계로 재증명한다. 또한 정리 1.11을 사용하여 dual sequential fat-shattering에 대한 최대 이중 지수 상계를 증명하며, 이는 미해결 문제를 해결한다. 두 번째 주요 결과(정리 1.14)에서는 큰 순차 fat-shattering 차원으로부터 "tight threshold"를 추출하는 Daskalakis와 Golowich의 결과에 대한 새로운 증명을 개선된 상계와 함께 제시한다. 이는 Jung, Kim, Tewari가 주장한 결과의 증명을 수정하는 것과 관련된 또 다른 미해결 문제를 해결한다.
교차 검증(cross-validation) 기반 모델 선택을 통한 학습의 이론적 특성을 분포 무관(distribution-free) 프레임워크로 분석하고, 전체 학습 파이프라인에 대한 VC 차원 기반 편차 경계(deviation bounds)를 유계·비유계 손실 함수 모두에 대해 수립한다. 도메인 지식을 부분 순서 구조로 인코딩한 Learning Spaces 개념을 도입하여, 목표에 잘 맞는 후보 모델 집합과 효율적인 탐색 알고리즘을 결합하면 모델 선택 학습이 LASSO·릿지 회귀 등 표준 방법을 크게 능가할 수 있음을 고차원 선형 회귀 실험으로 검증한다.
자기회귀 목적 함수(autoregressive objective)에 주로 집중되어 온 문맥 내 학습(ICL) 이론을 마스킹 언어 모델(masked language model)까지 확장하기 위해, 본 연구는 문맥 예시를 경험적 측도로 표현하는 통합 통계적 학습 프레임워크를 제안하고 Wasserstein 조건 하에서 두 사전학습 목적 함수에 대한 동일 차수의 초과 위험(excess risk) 상한을 도출한다. 함수 학습 실험에서 Masked Pair Encoder(MPE)가 GPT-2 계열 인과적 트랜스포머에 필적하는 성능을 달성함으로써, ICL 능력이 인과적 언어 모델에만 국한되지 않음을 이론적·실험적으로 뒷받침한다.
우리는 결정 변수 $\boldsymbol{\Theta} \in \mathbb{R}^{p \times k}$를 갖고, 비용 함수가 $n$개의 항의 합으로 구성되며 각 항이 $k$차원 투영 $\boldsymbol{\Theta}^\top \boldsymbol{x}_i$를 통해 $\boldsymbol{\Theta}$에 의존하는 최적화 문제의 일반적인 클래스를 연구한다. 여기서 $\boldsymbol{x}_i$, $i \leq n$은 i.i.d. 랜덤 벡터이다. 이 설정은 통계 물리학, 고차원 통계학, 통계적 학습 이론에서 현재 관심받는 사례들을 포함할 만큼 충분히 일반적이다. 우리는 $n, p \to \infty$이고 $n/p = \Theta(1)$인 비례적 점근(proportional asymptotics)을 고려하며, "비국소화(delocalization)" 조건의 적절한 일반화를 만족하는 최솟값이 존재할 때마다 최솟값이 보편적임을 증명한다. 즉, (서브가우시안 $\boldsymbol{x}_i$에 대해) 최솟값은 $\boldsymbol{x}_i$의 분포에 대해 점근적 평균과 공분산을 통해서만 의존한다. 이 비국소화 조건은 본질적으로 필요조건이다. 이러한 문제들에 대한 기존의 보편성 결과는 강볼록(strongly convex) 손실 함수에 한정되어 있었다. 우리는 이론을 통계적 학습에 적용하여 훈련 오차와 (추가 조건 하에) 테스트 오차 모두에 대한 일반적인 보편성 결과를 도출한다. 특히, 랜덤 1층 신경망(랜덤 피처 모델)으로 생성된 벡터 $\boldsymbol{x}_i$와 2층 네트워크의 1차 테일러 근사(뉴럴 탄젠트 모델)에 대한 보편성을 확립한다. 마지막으로, 검증하기 쉬운 조건 하에서 통계적 학습 문제의 한 클래스에 대해 비국소화 특성이 성립함을 증명한다.
경험적 과정 이론에 기반한 통계적 학습 이론(SLT)의 첫 번째 포괄적인 Lean 4 형식화를 통해 Gaussian Lipschitz concentration 및 Dudley's entropy integral theorem 등을 구현했다. 인간과 AI의 협업 워크플로우를 통해 검증된 도구상자를 구축하여 기존 교재의 암묵적 가정을 해결하고 머신러닝 이론의 재사용 가능한 형식적 기반을 마련했다.