혼합 소볼레프 공간에서의 얕은 신경망 근사
Shallow neural network approximation in mixed Sobolev spaces
한국어 초록
본 논문에서는 일반적인 활성화 함수와 $n$개의 뉴런을 갖는 얕은 신경망(shallow neural network)을 통한 혼합 소볼레프 공간(mixed Sobolev spaces)의 최적 $L_2$ 근사를 연구합니다. 먼저 활성화 함수와 무관한 푸리에 블록(Fourier-block) 원리를 확립합니다. 활성화 함수가 푸리에 블록 성질의 관점에서 일변량 근사 차수 $ρ$를 가진다면, 혼합 매끄러움(mixed smoothness) $α$를 갖는 대상 함수에 대한 전역 근사율은 명시적인 로그 인자를 제외하고 대수적 차수 $\min\{α,ρ\}$를 가집니다. 구체적인 활성화 함수에 대해 이 성질을 검증하기 위해, 명시적 매개변수를 갖는 푸리에 블록 성질을 함의하는 구조화된 일변량 근사 조건을 도입합니다. $\mathrm{ReLU}^k$의 경우, 일치하는 대수적 하계를 통해 상계의 로그 인자를 제외하고 임의의 차원에서 최적 대수적 근사 지수가 $\min\{α,k+1\}$임을 규명합니다. 또한 이 프레임워크는 기저 B-스플라인(cardinal B-splines) 및 soft-$\mathrm{ReLU}^k$에 대해서도 $\min\{α,k+1\}$ 지수를 도출하며, ELU 및 코사인 활성화 함수에 대해서는 다시 로그 인자를 제외하고 전체 혼합 매끄러움 지수 $α$를 도출합니다.
원문 초록
We investigate the best $L_2$ approximation of mixed Sobolev spaces by shallow neural networks with $n$ neurons and general activation functions. We first establish an activation-independent Fourier-block principle: if an activation has univariate approximation order $ρ$ in the sense of the Fourier-block property, then the global approximation rate has algebraic order $\min\{α,ρ\}$ for target functions of mixed smoothness $α$, up to explicit logarithmic factors. To verify this property for concrete activations, we introduce a structured univariate approximation condition that implies the Fourier-block property with explicit parameters. For $\mathrm{ReLU}^k$, a matching algebraic lower bound identifies $\min\{α,k+1\}$ as the optimal algebraic approximation exponent in any dimension, up to logarithmic factors in the upper bound. The framework also yields the exponent $\min\{α,k+1\}$ for cardinal B-splines and soft-$\mathrm{ReLU}^k$, and the full mixed-smoothness exponent $α$ for ELU and cosine activations, again up to logarithmic~factors.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.05263v2
- arXiv:2609.05263v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
40 pages, 2 figures