arXiv:2610.02253v1 cs.LG

드롭아웃 신경망의 근사 성질: 소볼레프 수렴율 및 신뢰 한계

Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds

Jia-He Yao

제출 2026-09-30

저자 비고

arXiv Comments

30 pages, 1 figure

한국어 초록

드롭아웃(dropout) 신경망의 보편 근사 성질(universal approximation property) 자체만으로는 정확한 무작위 실현(random realization)에 필요한 네트워크 크기를 설명하지 못합니다. 본 연구에서는 각 에지가 확률 $p$로 독립적으로 유지되는 렐루(ReLU) 신경망을 통해 $W^{n,\infty}([0,1]^d)$의 단위 공(unit ball)에 대한 근사를 연구합니다. 근사 오차는 입력 도메인 전반에 걸쳐 균일하게 측정되며, 단일 표본 네트워크에 대해 최소 $1-δ$의 확률로 보장이 성립합니다. 본 연구는 일정한 깊이와 $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/δ))$ 크기를 갖는 네트워크를 구성합니다. 이 구성은 유계된 국소 서브네트워크, 성공적인 근사 사건에 대한 국소화, 그리고 다중스케일 테일러 전개(multiscale Taylor decomposition)를 결합합니다. 반대로, 소볼레프 용량(Sobolev capacity)은 살아남는 에지 수에 대한 하한을 부여하며, 고정된 아핀 함수(affine function)의 근사는 충분히 높은 신뢰도에서 $((1-p)/p)\varepsilon^{-2}\log(1/δ)$ 차수의 출력층(output-layer) 비용을 요구합니다. 고정된 $p\in(0,1)$ 및 $δ<\min\{1/2,1-p\}$에 대해, 상한과 하한은 고정되거나 로그 수준의 깊이 제약 하에서 정확도 지수가 일치합니다. $d\leq2n$일 때, 이들은 정확도의 로그 항을 제외하고 신뢰도에서도 일치합니다. 나아가 본 연구는 하한을 $L^s$ 오차를 갖는 $W^{n,r}$ 타깃으로 확장하며, 이 확장을 $W^{n,\infty}$에 대한 상한과 구별합니다. 최적의 유지 의존성 및 로그 인수는 여전히 미해결 과제로 남아 있습니다.

원문 초록

The universal approximation property of dropout neural networks does not by itself describe the network size required for an accurate random realization. In this work, we study approximation of the unit ball of $W^{n,\infty}([0,1]^d)$ by ReLU networks whose edges are retained independently with probability $p$. The approximation error is measured uniformly over the input domain, and the guarantee holds with probability at least $1-δ$ for a single sampled network. We construct networks of constant depth and size $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/δ))$. The construction combines bounded local subnetworks, localization on a successful approximation event, and a multiscale Taylor decomposition. Conversely, Sobolev capacity imposes a lower bound on the number of surviving edges, while approximation of a fixed affine function requires an output-layer cost of order $((1-p)/p)\varepsilon^{-2}\log(1/δ)$ at sufficiently high confidence. For fixed $p\in(0,1)$ and $δ<\min\{1/2,1-p\}$, the upper and lower bounds match in the accuracy exponent under a fixed or logarithmic depth budget. When $d\leq2n$, they also match in confidence up to logarithms of accuracy. We extend the lower bounds to $W^{n,r}$ targets with $L^s$ error, and distinguish this extension from the upper bound for $W^{n,\infty}$. The optimal retention dependence and logarithmic factors remain open.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02253v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2512.13853v3cs.LG공통 태그 dropout

퍼콜레이션 관점에서 바라본 드롭아웃 신경망 학습

Dropout Neural Network Training Viewed from a Percolation Perspective

본 연구에서는 드롭아웃(dropout)을 사용하여 심층 신경망(neural network, NN)을 학습(training)할 때 퍼콜레이션(percolation)의 존재와 그 효과를 조사한다. 드롭아웃 방법은 G. Hinton 등(2012)이 처음 소개한, 신경망 학습을 위한 정규화(regularisation) 기법이다. 이 방법들은 학습의 각 단계에서 신경망 내의 연결을 무작위로 일시 제거하고, 확률적 경사하강법(Stochastic Gradient Descent, SGD)을 사용하여 남은 서브네트워크를 갱신한다. 네트워크에서 연결을 무작위로 제거하는 과정은 통계물리학의 대표적인 모형인 퍼콜레이션과 유사하다. 만약 드롭아웃이 신경망의 입력과 출력 사이에 경로가 존재하지 않을 정도로 충분히 많은 연결을 제거한다면, 신경망은 데이터에 기반한 예측을 수행할 수 없게 된다. 우리는 신경망의 드롭아웃을 모방하는 새로운 퍼콜레이션 모델을 연구하고, 네트워크 토폴로지(topology)와 이 경로 문제 사이의 관계를 규명한다. 이 이론은 드롭아웃 내에 퍼콜레이션 효과가 존재함을 보여준다. 또한 우리는 이러한 퍼콜레이션 효과가 편향(bias)이 없는 신경망을 드롭아웃으로 학습할 때 붕괴(breakdown)를 일으킬 수 있음을 보이며, 이 붕괴 현상이 편향이 있는 신경망에도 확장됨을 휴리스틱하게 논증한다.

arXiv:2605.31152v2stat.ML공통 태그 approximation theory

이방성 및 혼합 매끄러움 함수의 심층 렐루 신경망 근사와 학습

Approximation and learning of anisotropic and mixed smooth functions by deep ReLU neural networks

본 논문은 심층 렐루(ReLU) 신경망이 매끄러운 함수를 얼마나 효율적으로 근사하고 학습할 수 있는지를 연구한다. 오차가 $L^p([0,1]^d)$ 노름으로 측정되고 근사자가 폭 $W$와 깊이 $L$을 갖는 네트워크일 때, 최근 연구들은 Sobolev 임베딩(embedding) 조건 $s/d>1/q-1/p$ 하에서 Besov 공간 $\mathcal{B}^s_{q,r}([0,1]^d)$에 대해 초근사율 $\mathcal{O}((WL)^{-2s/d})$를 증명하였다. 이 비율에서 차원의 저주(curse of dimensionality)를 극복하기 위해, 우리는 이 결과를 이방성 및 혼합 매끄러움 함수 클래스로 확장한다. 임베딩 조건 $\tilde{s} > 1/q-1/p$ 하에서 이방성 매끄러움 $\boldsymbol{s}=(s_1,\dots,s_d)$을 갖는 이방성 Besov 공간 $\mathcal{B}^{\boldsymbol{s}}_{q,r}([0,1]^d)$에 대해 근사율 $\mathcal{O}((WL)^{-2\tilde{s}})$를 확립한다. 여기서 평균 매끄러움 $\tilde{s} = (\sum_{i=1}^d s_i^{-1})^{-1}$이다. 혼합 매끄러움 $s>1/q-1/p$을 갖는 혼합 매끄러움 Besov 공간 $\mathcal{MB}^s_{q,r}([0,1]^d)$에 대해서는 근사율 $\mathcal{O}((WL)^{-2s})$가 대수(logarithmic) 인자까지 성립함을 보인다. 이러한 결과를 이용하여 이방성 Besov 함수의 합성(composition)에 대한 근사 경계도 유도한다. 응용으로, 심층 렐루 신경망이 광범위한 매끄러움 함수 클래스에 대해 대수 인자까지 minimax 최적(minimax optimal) 비율을 달성할 수 있음을 보인다.

arXiv:2607.10589v1stat.ML공통 태그 approximation theory

조정 가능한 깊이와 너비를 가진 렐루 신경망에 의한 해석 함수 근사

Approximation of Analytic Functions by ReLU Neural Networks with Adjustable Depth and Width

신경망 근사 이론에 관한 대부분의 연구가 네트워크 매개변수의 총 개수와 같은 단일 매개변수를 통해 결과를 특성화하는 것과 달리, \cite{shen2020deep}는 근사율을 너비 매개변수 $N$과 깊이 매개변수 $L$의 결합 함수로 특성화하는 방식을 선구적으로 제시하여 더 큰 구조적 유연성을 부여하였다. $(N,L)$-특성화를 사용하는 기존 연구들은 유한 평활도(smoothness) $s$를 갖는 함수 클래스에 초점을 맞추어, 입력 차원을 $d$로 나타낼 때 전형적인 근사율 $\mathcal{O}\left(N^{-2s/d}L^{-2s/d}\right)$을 확립하였으며, 이는 해당 클래스에서 네트워크의 깊이와 너비가 대칭적인 역할을 함을 나타낸다. 이와 달리, 본 논문은 $(N,L)$-특성화 하에서 렐루(ReLU) 신경망을 통해 무한 평활도를 갖는 해석 함수(analytic function)의 근사에 대한 상한을 확립한다. 구체적으로, $C>0$가 어떤 상수이고 $τ>0$가 $L$과 $N$의 관계에 의해 영향을 받는 매개변수일 때, $\mathcal{O}\left(N^{-C L^τ}\right)$의 근사율을 도출한다. 특히, $N$이 대략 $L^d$에 비례하여 증가하면 $τ=1$이다. 우리의 결과는 해석 함수 근사의 맥락에서 깊이가 너비보다 더 중요한 역할을 함을 보여준다. 이러한 상한을 얻는 데 있어 주요 기술적 어려움은 평활도 매개변수와 근사 정확도 사이의 트레이드오프에 있다. 이 어려움을 극복하기 위해, 거듭제곱 함수, 다변수 곱셈, 그리고 다항식을 근사하는 여러 렐루 신경망의 정교한 구성을 활용하며, 이는 독립적인 관심의 대상이 될 수 있다.

arXiv:2606.26705v1cs.LG공통 태그 approximation theory

심층 학습의 알고리즘적 기초: 복잡도 이론적 수렴률과 보편 근사의 특성화

Algorithmic Foundations of Deep Learning: Complexity-Theoretic Rates and a Characterization of Universal Approximation

순방향 신경망(NN)의 표현력은 통상적으로 최적 기저 확장 방식을 모방하는 관점에서 연구된다. 이 관점은 강력하지만 불완전하다. 주로 정칙성(regularity)을 통해 복잡도를 포착하기 때문에, 제곱근 함수와 전형적인 브라운 경로처럼 유사한 정칙성을 가지면서도 직관적으로 단순하거나 복잡한 대상을 구별하지 못한다. 이 연구의 핵심 메시지는 신경망을 유연한 기저 함수로만 볼 것이 아니라 계산 모델로도 보아야 한다는 것이다. 어떤 함수가 규정된 기본 게이트 언어에 대한 실수값 회로로 계산 가능하다면, 그 회로의 깊이, 너비, 게이트 수, 게이트 구조에 의해 제어되는 명시적인 깊이, 너비, 비영(非零) 매개변수 범위를 갖는 신경망으로 동등한 정확도로 계산될 수 있다. 따라서 신경망의 복잡도는 정칙성만으로 결정되는 것이 아니라 알고리즘적 복잡도에 의해서도 결정된다. 이어서 우리는, 어텐션이나 층 정규화와 같이 다변수 비선형성을 허용하는 자연스러운 병렬화 조건을 만족하는 임의의 정의 가능한 신경망 모델이, 비아핀(non-affine) 비선형성을 포함하는 경우에 한해 보편 근사기임을 증명한다. 우리 이론의 적용 범위는 연속 함수에 대한 보편 근사 보장, Besov 클래스에 대한 미니맥스 최적 근사 보장, 정칙 함수(holomorphic functions)에 대한 로그 오차 복잡도를 도출하고, 신경망이 아키텍처별 논증 없이 Newton-Raphson 영점 탐색 및 거듭제곱 반복법(power iteration)과 같은 수치 알고리즘을 에뮬레이션할 수 있음을 보임으로써 예시된다. 이론의 정밀도는 $k$-정점 그래프에서의 최단 경로 계산을 통해 예시된다. 열대 동적 계획법 회로를 컴파일하면 비영 매개변수가 O(log(1/ε))개인 신경망이 산출되며, 이는 상수 c>0에 대해 일반적인 $O(ε^{-c k^2})$ 립시츠 근사 스케일에 비해 1/ε에 대해 지수적으로 향상된 결과이다.

arXiv:2606.20325v1cs.LG공통 태그 approximation theory

순환 신경망은 연속 함수를 근사한다

Recurrent neural networks approximate continuous functions

고전적인 근사 정리들은 목표 정확도가 향상될 때마다 새로운 신경망을 요구합니다. 본 논문은 그 반대 가능성을 연구합니다: 신경망을 한 번 선택해두고, 더 오래 실행함으로써만 정확도를 얻을 수 있는가? 우리는 [-1,1] 상의 모든 연속 함수에 대해 이것이 가능함을 증명합니다. 더 정확히 말하면, 각 함수는 고정된 가중치와 고정된 은닉 차원을 가진 단일 렐루(ReLU) 순환 신경망의 시간 진화에 의해 균일하게 근사됩니다. 이 구성의 배경에 있는 메커니즘은 신경 유닛을 갖춘 튜링 머신(Turing machine with neural units, TMNU)이라는 새로운 중간 모델입니다. 이 모델은 다항식 근사 방식을 구현하는 데 필요한 알고리즘적 자유를 유지하면서도, 은닉 차원과 가중치 크기에 대한 명시적인 상한을 가진 순환 신경망에 의해 시뮬레이션될 수 있을 만큼 충분히 엄격합니다. 그 결과로 나오는 수렴 속도는 기저의 다항식 근사 속도를 반영합니다. 우리는 이 구성을 미니맥스 하한(minimax lower bounds)으로 보완하며, 이는 런타임이 단순한 증명의 산물이 아니라 고정된 신경망 근사 패러다임에서 피할 수 없는 자원임을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.