고차원 기하학 및 통계적 학습 이론 관점에서 신경망을 통한 대규모 데이터셋 분류기의 근사와 학습을 연구한다. 신경망의 입출력 함수 집합이 지닌 VC 차원이 근사 능력에 미치는 영향을, 데이터 표본으로부터의 학습 일관성(consistency)에 미치는 영향과 비교한다. 유한한 VC 차원은 경험적 오차의 균등 수렴(uniform convergence)에 바람직하지만, 주어진 유형의 응용 분야에서 함수가 나타날 가능도(likelihood)를 모델링하는 확률 분포로부터 추출된 함수를 근사하는 데는 바람직하지 않을 수 있음을 보인다. 고차원 기하학의 측도 집중(concentration of measure) 특성을 바탕으로, 대규모 데이터셋을 처리할 때 유한한 VC 차원을 갖는 입출력 함수 집합을 구현하는 신경망에서는 근사 오차와 경험적 오차 모두 거의 결정론적으로 동작함을 증명한다. 보편 근사 특성(universal approximation property)의 실질적 한계, 근사 정확도와 데이터 학습 일관성 사이의 상충 관계(trade-off), 그리고 렐루(ReLU) 유닛을 사용하는 신경망의 깊이가 정확도와 일관성에 미치는 영향에 대해 논의한다.
본 논문에서는 작용소 학습(OL) 아키텍처를 통한 비선형 작용소 및 그 도함수의 보편 근사(UA)가 ${C^k_F}$(Fréchet) 콤팩트-오픈 위상 및 Fréchet-Sobolev 노름(즉, 작용소 노름 하에서)에서 성립하지 않음을 보인다. 우리는 보다 자연스러운 약한 위상인 $C^k_B$(Bastiani) 콤팩트-오픈 위상 및 일반적인 유한 입력 측도에 대한 (새로운) 가중 Bastiani-Sobolev 공간에서 UA를 복원함으로써 이러한 난점을 해결한다. 완전한 바나흐 공간(Banach space)의 일반성 하에서, 이는 [Hornik, 1991]의 영향력 있는 고전적 결과를 무한차원 공간 및 OL로 완전히 확장한 최초의 일반화이다. 우리는 자체적인 UAT에 기반하여 DIOL에서 Bastiani-Sobolev 학습(training)을 정식화한다. 이러한 결과는 일반 바나흐 공간에서 도함수 정보 기반 작용소 학습(DIOL)(즉, 비선형 작용소와 그 도함수 학습)의 시초를 연다. 비선형 작용소는 일반 바나흐 공간에서 사용 가능한 고전적 OL 아키텍처인 인코더-디코더 아키텍처를 통해 매개변수화되며, 여기에는 우리 UAT가 다루는 DeepONet, Deep-H-ONet, PCA-Net이 포함된다. 핵심적인 수학적 결과로서, 우리가 제안하는 새로운 가중 Bastiani-Sobolev 공간은 바나흐 공간상의 고전적 가우스(Malliavin) Sobolev 공간을 일반화한다. DIOL과 우리 UAT가 응용될 수 있는 미개척 분야로는 OL에서의 고차 정확도 달성, Learn-Then-Optimize를 통한 바나흐 공간에서의 빠른 제약 최적화(예: 편미분방정식(PDE)의 최적 제어, 역문제), 무한차원 PDE를 위한 수치적 기법(예: PDE, SPDE, 경로 의존 시스템, 부분 관측 시스템, 평균장 제어의 최적 제어 등 Optimize-Then-Learn을 통한 무한차원 최적 제어 기반 바나흐 공간상 HJB PDE) 등이 있다.
Leray-Schauder 사상을 이용하여 임의의 바나흐 공간 위의 연속(비선형 포함) 연산자에 대한 새로운 범용 근사 정리를 도출한다. 또한, 다변수 함수로 이루어진 바나흐 공간 $L^p$에서 다항식 기저에 대한 직교 사영을 기반으로 한 연산자 학습 방법을 도입하고 연구한다. 추가적인 가정 하에 선형 사영과 유한 차원 사상을 학습하는 연산자에 대한 범용 근사 결과를 유도한다. $p=2$인 경우에 대해서는 근사 결과가 성립하기 위한 몇 가지 충분조건을 제시한다. 본 논문은 연산자 학습에서의 심층 학습 방법론을 위한 이론적 프레임워크로서 기능한다.
우리는 함수형 입력 신경망(FNN)에 대한 범용 근사 정리를 미분 가능 사상으로 일반화하며, 이 과정에서 도함수의 근사도 포함한다. FNN은 가능하면 무한 차원의 가중 다양체로부터 입력을 받아 실수값 은닉층(hidden layer)으로 매핑하고, 그곳에서 비선형 스칼라 활성화 함수(activation function)를 적용한 뒤 선형 판독 연산을 통해 출력을 바나흐 공간(Banach space)으로 반환한다. 가중 Nachbin 정리를 증명함으로써, 우리는 미분 가능 사상에 대한 범용 근사 정리를 확립하며, 이는 컴팩트 집합에 대한 통상적인 정식화를 넘어 도함수의 근사까지 포함한다. 이를 통해 수평 도함수 및 수직 도함수를 포함한 비예측 범함수(non-anticipative functional)에 대한 근사 결과를 도출한다. 추가 응용으로서, 시그니처(signature)의 선형 함수가 방향 도함수를 포함한 경로 공간 범함수를 근사할 수 있음을 보인다.
순방향 신경망의 표현력을 정칙성뿐 아니라 실수값 회로로 표현되는 알고리즘적 복잡도로 분석하는 이론을 제시하고, 비아핀 비선형성을 포함한 정의 가능한 모델의 보편 근사 조건을 밝힌다. 연속·Besov·정칙 함수 근사와 Newton-Raphson·거듭제곱 반복 등 수치 알고리즘 에뮬레이션을 통합하고, k-정점 그래프 최단 경로에서는 비영 매개변수 O(log(1/ε))로 일반 립시츠 근사보다 1/ε에 대해 지수적으로 개선된다.
EML(Exp-Minus-Log) 함수를 트리로 조합한 EML 트리가 Sobolev 공간 W^{k,∞}에서 보편 근사 성질을 갖음을 다항식 표현을 모방하는 명시적 구성과 고전적 신경망 근사 논증으로 증명한다. 적합 파라미터를 갖춘 EML형 트리 학습 알고리즘을 제안하고 실용적 최적화 문제에서 실행 가능성을 보여, 함수 근사를 위한 이론적 프레임워크로 정당화한다.
우리는 (가산) $m$-정리 가능한 측度 클래스에 대한 보편 근사 결과를 도출한다. 구체적으로, $m$-정리 가능한 측度가 $[0,1]$ 위 1차원 Lebesgue 측度의 push-forward로, Wasserstein 거리 관점에서 임의로 작은 근사 오차를 갖도록 렐루(ReLU) 신경망을 사용해 근사될 수 있음을 증명한다. 더 나아가, 고려하는 네트워크의 가중치는 양자화되고 유계이며, 근사 오차 $\varepsilon$를 달성하는 데 필요한 렐루(ReLU) 신경망의 개수는 $b(\varepsilon)=\mathcal{O}(\varepsilon^{-m}\log^2(\varepsilon))$인 $2^{b(\varepsilon)}$ 이하이다. 이 결과는 Perekrestenko et al.의 Lemma IX.4를 개선하는데, $\varepsilon$가 0에 가까워질 때 $b(\varepsilon)$가 무한대로 발산하는 속도가 정리 가능성 매개변수 $m$과 일치함을 보여 주기 때문이며, 이 $m$은 주변(ambient) 차원보다 훨씬 작을 수 있다. 우리는 이 결과를 가산 $m$-정리 가능한 측度로 확장하고, 다른 기술적 가정들 가운데 측度가 가산 $m$-정리 가능한 지지 집합의 각 성분에서 지수적으로 감쇠한다는 조건 하에서, 이 속도가 여전히 정리 가능성 매개변수 $m$과 같음을 보인다.