드롭아웃 신경망의 근사 성질: 소볼레프 수렴율 및 신뢰 한계
Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds
드롭아웃(dropout) 신경망의 보편 근사 성질(universal approximation property) 자체만으로는 정확한 무작위 실현(random realization)에 필요한 네트워크 크기를 설명하지 못합니다. 본 연구에서는 각 에지가 확률 $p$로 독립적으로 유지되는 렐루(ReLU) 신경망을 통해 $W^{n,\infty}([0,1]^d)$의 단위 공(unit ball)에 대한 근사를 연구합니다. 근사 오차는 입력 도메인 전반에 걸쳐 균일하게 측정되며, 단일 표본 네트워크에 대해 최소 $1-δ$의 확률로 보장이 성립합니다. 본 연구는 일정한 깊이와 $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/δ))$ 크기를 갖는 네트워크를 구성합니다. 이 구성은 유계된 국소 서브네트워크, 성공적인 근사 사건에 대한 국소화, 그리고 다중스케일 테일러 전개(multiscale Taylor decomposition)를 결합합니다. 반대로, 소볼레프 용량(Sobolev capacity)은 살아남는 에지 수에 대한 하한을 부여하며, 고정된 아핀 함수(affine function)의 근사는 충분히 높은 신뢰도에서 $((1-p)/p)\varepsilon^{-2}\log(1/δ)$ 차수의 출력층(output-layer) 비용을 요구합니다. 고정된 $p\in(0,1)$ 및 $δ<\min\{1/2,1-p\}$에 대해, 상한과 하한은 고정되거나 로그 수준의 깊이 제약 하에서 정확도 지수가 일치합니다. $d\leq2n$일 때, 이들은 정확도의 로그 항을 제외하고 신뢰도에서도 일치합니다. 나아가 본 연구는 하한을 $L^s$ 오차를 갖는 $W^{n,r}$ 타깃으로 확장하며, 이 확장을 $W^{n,\infty}$에 대한 상한과 구별합니다. 최적의 유지 의존성 및 로그 인수는 여전히 미해결 과제로 남아 있습니다.