We study binary classification tasks whose decision sets are given by definable sets in o-minimal expansions of the real field. Motivated by the cell decomposition theory of definable sets, we introduce traceable sets that isolate the analytical properties of definable sets used for fast approximation by ReLU neural networks. Under uniform bounds on the number of cells and a suitable extension assumption for the boundary functions, we prove that classifiers can be approximated in $L^p$ up to accuracy $\varepsilon>0$ by ReLU neural networks of size $\mathcal{O}(\varepsilon^{-p(n-1)/m})$, with depth independent of $\varepsilon$ and polynomially bounded weights. This establishes quantitative approximation rates for suitable definable collections in o-minimal structures using ReLU neural networks. Furthermore, the stated approximation rates are also derived for definable maps under similar geometric assumptions on their smoothness domains. We then obtain statistical learning rates for empirical risk minimization with hinge loss over the approximating ReLU neural network classes. For $N$ uniformly distributed samples, the predicted classifiers achieve expected misclassification error of order $N^{-m/(m+n-1)}$ up to an arbitrarily small polynomial loss.
드롭아웃(dropout) 신경망의 보편 근사 성질(universal approximation property) 자체만으로는 정확한 무작위 실현(random realization)에 필요한 네트워크 크기를 설명하지 못합니다. 본 연구에서는 각 에지가 확률 $p$로 독립적으로 유지되는 렐루(ReLU) 신경망을 통해 $W^{n,\infty}([0,1]^d)$의 단위 공(unit ball)에 대한 근사를 연구합니다. 근사 오차는 입력 도메인 전반에 걸쳐 균일하게 측정되며, 단일 표본 네트워크에 대해 최소 $1-δ$의 확률로 보장이 성립합니다. 본 연구는 일정한 깊이와 $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/δ))$ 크기를 갖는 네트워크를 구성합니다. 이 구성은 유계된 국소 서브네트워크, 성공적인 근사 사건에 대한 국소화, 그리고 다중스케일 테일러 전개(multiscale Taylor decomposition)를 결합합니다. 반대로, 소볼레프 용량(Sobolev capacity)은 살아남는 에지 수에 대한 하한을 부여하며, 고정된 아핀 함수(affine function)의 근사는 충분히 높은 신뢰도에서 $((1-p)/p)\varepsilon^{-2}\log(1/δ)$ 차수의 출력층(output-layer) 비용을 요구합니다. 고정된 $p\in(0,1)$ 및 $δ<\min\{1/2,1-p\}$에 대해, 상한과 하한은 고정되거나 로그 수준의 깊이 제약 하에서 정확도 지수가 일치합니다. $d\leq2n$일 때, 이들은 정확도의 로그 항을 제외하고 신뢰도에서도 일치합니다. 나아가 본 연구는 하한을 $L^s$ 오차를 갖는 $W^{n,r}$ 타깃으로 확장하며, 이 확장을 $W^{n,\infty}$에 대한 상한과 구별합니다. 최적의 유지 의존성 및 로그 인수는 여전히 미해결 과제로 남아 있습니다.
본 논문은 심층 렐루(ReLU) 신경망이 매끄러운 함수를 얼마나 효율적으로 근사하고 학습할 수 있는지를 연구한다. 오차가 $L^p([0,1]^d)$ 노름으로 측정되고 근사자가 폭 $W$와 깊이 $L$을 갖는 네트워크일 때, 최근 연구들은 Sobolev 임베딩(embedding) 조건 $s/d>1/q-1/p$ 하에서 Besov 공간 $\mathcal{B}^s_{q,r}([0,1]^d)$에 대해 초근사율 $\mathcal{O}((WL)^{-2s/d})$를 증명하였다. 이 비율에서 차원의 저주(curse of dimensionality)를 극복하기 위해, 우리는 이 결과를 이방성 및 혼합 매끄러움 함수 클래스로 확장한다. 임베딩 조건 $\tilde{s} > 1/q-1/p$ 하에서 이방성 매끄러움 $\boldsymbol{s}=(s_1,\dots,s_d)$을 갖는 이방성 Besov 공간 $\mathcal{B}^{\boldsymbol{s}}_{q,r}([0,1]^d)$에 대해 근사율 $\mathcal{O}((WL)^{-2\tilde{s}})$를 확립한다. 여기서 평균 매끄러움 $\tilde{s} = (\sum_{i=1}^d s_i^{-1})^{-1}$이다. 혼합 매끄러움 $s>1/q-1/p$을 갖는 혼합 매끄러움 Besov 공간 $\mathcal{MB}^s_{q,r}([0,1]^d)$에 대해서는 근사율 $\mathcal{O}((WL)^{-2s})$가 대수(logarithmic) 인자까지 성립함을 보인다. 이러한 결과를 이용하여 이방성 Besov 함수의 합성(composition)에 대한 근사 경계도 유도한다. 응용으로, 심층 렐루 신경망이 광범위한 매끄러움 함수 클래스에 대해 대수 인자까지 minimax 최적(minimax optimal) 비율을 달성할 수 있음을 보인다.
신경망 근사 이론에 관한 대부분의 연구가 네트워크 매개변수의 총 개수와 같은 단일 매개변수를 통해 결과를 특성화하는 것과 달리, \cite{shen2020deep}는 근사율을 너비 매개변수 $N$과 깊이 매개변수 $L$의 결합 함수로 특성화하는 방식을 선구적으로 제시하여 더 큰 구조적 유연성을 부여하였다. $(N,L)$-특성화를 사용하는 기존 연구들은 유한 평활도(smoothness) $s$를 갖는 함수 클래스에 초점을 맞추어, 입력 차원을 $d$로 나타낼 때 전형적인 근사율 $\mathcal{O}\left(N^{-2s/d}L^{-2s/d}\right)$을 확립하였으며, 이는 해당 클래스에서 네트워크의 깊이와 너비가 대칭적인 역할을 함을 나타낸다. 이와 달리, 본 논문은 $(N,L)$-특성화 하에서 렐루(ReLU) 신경망을 통해 무한 평활도를 갖는 해석 함수(analytic function)의 근사에 대한 상한을 확립한다. 구체적으로, $C>0$가 어떤 상수이고 $τ>0$가 $L$과 $N$의 관계에 의해 영향을 받는 매개변수일 때, $\mathcal{O}\left(N^{-C L^τ}\right)$의 근사율을 도출한다. 특히, $N$이 대략 $L^d$에 비례하여 증가하면 $τ=1$이다. 우리의 결과는 해석 함수 근사의 맥락에서 깊이가 너비보다 더 중요한 역할을 함을 보여준다. 이러한 상한을 얻는 데 있어 주요 기술적 어려움은 평활도 매개변수와 근사 정확도 사이의 트레이드오프에 있다. 이 어려움을 극복하기 위해, 거듭제곱 함수, 다변수 곱셈, 그리고 다항식을 근사하는 여러 렐루 신경망의 정교한 구성을 활용하며, 이는 독립적인 관심의 대상이 될 수 있다.
순방향 신경망의 표현력을 정칙성뿐 아니라 실수값 회로로 표현되는 알고리즘적 복잡도로 분석하는 이론을 제시하고, 비아핀 비선형성을 포함한 정의 가능한 모델의 보편 근사 조건을 밝힌다. 연속·Besov·정칙 함수 근사와 Newton-Raphson·거듭제곱 반복 등 수치 알고리즘 에뮬레이션을 통합하고, k-정점 그래프 최단 경로에서는 비영 매개변수 O(log(1/ε))로 일반 립시츠 근사보다 1/ε에 대해 지수적으로 개선된다.
고전적인 근사 정리들은 목표 정확도가 향상될 때마다 새로운 신경망을 요구합니다. 본 논문은 그 반대 가능성을 연구합니다: 신경망을 한 번 선택해두고, 더 오래 실행함으로써만 정확도를 얻을 수 있는가? 우리는 [-1,1] 상의 모든 연속 함수에 대해 이것이 가능함을 증명합니다. 더 정확히 말하면, 각 함수는 고정된 가중치와 고정된 은닉 차원을 가진 단일 렐루(ReLU) 순환 신경망의 시간 진화에 의해 균일하게 근사됩니다. 이 구성의 배경에 있는 메커니즘은 신경 유닛을 갖춘 튜링 머신(Turing machine with neural units, TMNU)이라는 새로운 중간 모델입니다. 이 모델은 다항식 근사 방식을 구현하는 데 필요한 알고리즘적 자유를 유지하면서도, 은닉 차원과 가중치 크기에 대한 명시적인 상한을 가진 순환 신경망에 의해 시뮬레이션될 수 있을 만큼 충분히 엄격합니다. 그 결과로 나오는 수렴 속도는 기저의 다항식 근사 속도를 반영합니다. 우리는 이 구성을 미니맥스 하한(minimax lower bounds)으로 보완하며, 이는 런타임이 단순한 증명의 산물이 아니라 고정된 신경망 근사 패러다임에서 피할 수 없는 자원임을 보여줍니다.