균일한 노이즈 모멘트 한계 조건은 반복점(iterate)에 따라 변동성이 증가하는 확률적 그래디언트를 배제합니다. 본 논문에서는 거리 의존적인 조건부 모멘트 하에서, 매끄럽고 하한이 있는 비볼록(nonconvex) 목적 함수에 대한 일반적인 단일 샘플 확률적 경사하강법(SGD)을 연구합니다. 2차 모멘트 조건만으로도 직접적인 하강-변위(descent--displacement) 논증을 통해 시계 의존적 스텝사이즈를 갖는 $T^{-1/3}$ 기대 평균 제곱 그래디언트 정지성을 도출합니다. 명시적인 오라클 복잡도 따름정리는 $Δ$가 초기 목적 함수 차이이고 $σ^2+b_2\|x-x_1\|^2$가 분산을 제한할 때 $Lb_2Δ^3\varepsilon^{-6}$ 및 $LΔσ^2\varepsilon^{-4}$ 확률적 항을 포함하여 기존에 알려진 매끄러운 블룸-글라디셰프(Blum--Gladyshev, BG-0) 하한과 일치합니다. 따라서 수정되지 않은 일반 SGD는 이 2차 모멘트 클래스에서 미니맥스 확률적 복잡도를 달성합니다. $p>2$인 경우, 예측 가능한 국소화(localization)와 힐베르트 공간 푹-나가예프(Fuk--Nagaev) 부등식을 통해 로그 분산과 다항식 희귀 충격(rare-shock) 기여를 분리하는 높은 확률 한계를 얻습니다. 국소화 반경은 재귀식으로부터 유도되므로, 유계 반복점 가정, 클리핑, 정규화(normalization), 모멘텀(momentum) 또는 증가하는 배치(batch) 크기가 필요하지 않습니다. 또한 신뢰도 증가율(increasing-confidence rates), $\sqrt{T}$ 정지성을 회복하는 목적 함수 차이 성장 개선, 그리고 확률적 $L^p$-립시츠 예시를 제시합니다. 광범위한 BG-0 최적성 진술은 추가적인 오라클 구조를 통해 더 빠른 알고리즘이 허용되는 더 좁은 평균 제곱 평활 클래스와 구별됩니다.
벡터값 확률 과정의 자기정규화 집중(self-normalized concentration)을 연구한다. 우리는 널리 알려진 상당히 일반적인 클래스인 "sub-$\psi$" 과정에 대한 상계에 초점을 맞추며, 이 클래스는 다양한 잘 알려진 꼬리 조건( sub-exponential, sub-Gaussian, sub-gamma, sub-Poisson, 대칭이거나 2차 또는 3차 모멘트가 유계인 등 모멘트 생성 함수가 없는 여러 heavy-tailed 설정을 포함)을 포괄한다. 우리의 결과는 sub-Gaussian 경우에서 de la Peña et al. [20]의 영향력 있는 상계(Abbasi-Yadkori et al. [2]에서 다시 증명됨)를 회수하고 일반화한다. 또한 행렬식 기반 상계와 조건수 기반의 더 최근 상계 사이 문헌의 공백을 메운다. 응용으로, 모멘트 조건(유계성보다 더 일반적인 조건)을 만족하는 확률 벡터에 대한 Bernstein 부등식을 증명하고, 최초로 차원에 무관한 자기정규화 경험적 Bernstein 부등식을 제시한다. 우리의 기법은 집중에 대한 변분적(PAC-Bayes) 접근에 기반한다.
이 책은 데이터 과학의 수학적 기초에 관한 것이다. 1. 서론 2. 고차원에서의 저주, 축복, 그리고 놀라움 3. 특이값 분해(SVD)와 주성분 분석(PCA) 4. 선형 회귀와 정규화 5. 그래프, 네트워크, 그리고 클러스터링 6. 비선형 차원 축소와 확산 맵(Diffusion Maps) 7. 랜덤 투영을 통한 선형 차원 축소 8. 데이터 과학을 위한 최적화 9. 분류 10. 심층 학습의 수학적 소개 11. 그래프 라플라시안의 대표본 극한 12. 커뮤니티 13. 측도 집중과 가우시안 분석 14. 행렬 집중 부등식 15. 압축 센싱과 희소성 16. 저계수 행렬 복원
우리는 측지 공간(geodesic space)에서 독립 동일 분포(i.i.d.) 데이터가 주어졌을 때 분포의 중심점(barycenter)을 추정하는 문제를 연구한다. Alexandrov 의미에서의 곡률 상한과 중심점 문제의 강한 측지 볼록성(strong geodesic convexity)을 보장하는 지지 조건을 가정하여, 기댓값 및 고확률 하에서의 유한 표본 오차 경계를 확립한다. 우리의 결과는 Hoeffding형 및 Bernstein형 농도 부등식(concentration inequalities)을 유클리드 공간에서 측지 공간으로 일반화한다. 이러한 농도 부등식을 기반으로, 중심점 계산을 위한 두 가지 효율적인 알고리즘에 대한 통계적 보장을 도출한다.
일차 주변분의 모멘트 가정 하에서 확률 벡터와 행렬 노름에 대한 변분 꼬리 상한을 제안하고, 가우시안 푸시포워드로 집계 분포를 매개화한 단순화형도 함께 제시한다. 이 방법으로 가우시안 벡터 노름의 기존 상한을 재현하고, 임의 모멘트 프로파일에 대한 차원 무관 유클리드 노름 상한과 sub-exponential 주변분을 갖는 양의 준정부호 행렬 합, sub-exponential 확률 벡터의 표본 공분산, 임의 모멘트 계수를 갖는 랜덤 행렬 급수의 연산자 노름에 대한 집중 부등식을 얻는다.
통계적 학습(statistical learning)의 경험적 위험 원칙(ERP)에서 두 종류 오류 확률에 대한 농축 부등식(concentration inequalities)을 증명해, 최소 경험적 위험을 기준으로 최소 위험(minimal risk)의 비점근적(non-asymptotic) 상·하한을 높은 신뢰도로 제시한다. 경험적 위험 함수의 유계(boundedness) 조건을 가우시안 또는 지수 적분 가능(integrability) 조건으로 완화했으며, 하한 신뢰도는 학습 파라미터 수와 입력 차원과 무관해 학습기의 비효율을 빠르게 검증할 수 있고, 상한은 표본 크기 n이 위험 함수 관련 Orlicz 메트릭 d_{ψ_1}에서 파라미터 집합 Θ의 box dimension보다 충분히 클 때 높다.
우리는 무한 교환 가능(infinitely exchangeable) 확률변수의 함수에 대한 집중(concentration) 성질을 고려합니다. 데 피네티(de Finetti) 지도 측도에 대해 조건화함으로써, 우리는 유계 차분(bounded-difference) 상수 $c_1, \dots, c_n$을 가진 임의의 함수의 편차가 조건부 표본 변동과 잠재 혼합 변동으로 분해됨을 보여줍니다. 이 잠재 혼합이 $σ_{\mathrm{mix}}^2$-서브가우시안(subgaussian)일 때, 우리는 $\frac{1}{4}\sum_i c_i^2 + σ_{\mathrm{mix}}^2$의 유효 분산 프록시를 갖는 집중 부등식을 확립합니다. 중요하게는, 우리는 부분 표본 평균과 전체 모집단 평균 간의 차이와 같은 영합 선형 대비(zero-sum linear contrasts)에 대해 잠재 혼합 항이 정확히 상쇄됨을 입증합니다. 이러한 상쇄는 최근 유한 교환 가능(finite-exchangeable) 집중 결과의 무한 확장 가능성(infinite-extendibility) 극한에 대한 직접적인 데 피네티(de Finetti) 메커니즘을 제공하는 타이트하고 혼합이 없는(mixture-free) 훠프딩 유형 바운드(Hoeffding-type bound)를 산출합니다. 우리는 이 프레임워크를 MMLU와 같은 복합 AI 벤치마크(composite AI benchmarks)에서의 불확실성을 정량화하는 데 적용하며, 여기서 문제 항목은 도메인 간에 자연스럽게 교환 가능 의존성(exchangeable dependence)을 나타냅니다. 우리의 결과는 정확도 점수의 불확실성을 제한하기 위한 도메인 계층화(domain-stratified) 계층적 모델과, 무작위 부분 집합에서 전체 벤치마크 점수를 정확하게 추정하기 위한 분포 무관(distribution-free)이며 비용 절감(cost-saving)적인 통계적 보장을 모두 제공합니다.
엔트로피의 근사 텐서화(Approximate Tensorization of Entropy)를 통해 의존성이 있는 환경에서 McDiarmid 부등식을 도출하고, 이를 비등방 가우시안 벡터 및 강한 로그-오목 측도에 적용하여 집중 부등식을 확장했습니다. 이를 바탕으로 약한 의존성 하에서 Dvoretzky-Kiefer-Wolfowitz 유형의 부등식에 대한 수렴 속도를 기존 $n^{-1/3}$에서 $1/\sqrt{n}$으로 개선했습니다.
알고리즘 안정성(algorithmic stability)은 학습 알고리즘의 일반화를 이해하는 핵심 도구이지만, 기존의 고확률 보장(high-probability guarantees)은 일반적으로 균일 유계성(uniform boundedness)이나 sub-Gaussian/sub-Weibull 꼬리 가정에 의존하는데, 이는 무거운 꼬리(heavy-tailed)를 가지거나 비유계(unbounded) 손실이 존재하는 현대의 설정에서는 과도하게 제한적일 수 있습니다. 우리는 유한한 $L_p$ 모멘트 조건만을 요구하는 안정성 기반 프레임워크를 개발했습니다. 첫 번째 기여는 $L_p$ 제약 조건 하에서 독립 확률 변수 함수에 대한 정밀한 농도 부등식(sharp concentration inequalities)으로, McDiarmid의 유계 차이(bounded-differences) 기법을 고전적 체제(classical regime)를 넘어 확장합니다. 이러한 결과를 활용하여 우리는 경험적 위험 최소화(empirical risk minimization), 귀납적 회귀(transductive regression), 메타학습(meta-learning)을 포함한 다양한 학습 패러다임에 걸쳐 정밀한 고확률 일반화 바운드를 도출했습니다. 이러한 보장들은 유계성이 성립하지 않더라도 $L_p$ 안정성만으로도 강인한 일반화가 가능함을 보여주며, 안정성 문헌에서의 표준 가정을 크게 완화합니다.