PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02253v1cs.LG

드롭아웃 신경망의 근사 성질: 소볼레프 수렴율 및 신뢰 한계

Approximation Property of Dropout Neural Networks: Sobolev Rates and Confidence Bounds

드롭아웃(dropout) 신경망의 보편 근사 성질(universal approximation property) 자체만으로는 정확한 무작위 실현(random realization)에 필요한 네트워크 크기를 설명하지 못합니다. 본 연구에서는 각 에지가 확률 $p$로 독립적으로 유지되는 렐루(ReLU) 신경망을 통해 $W^{n,\infty}([0,1]^d)$의 단위 공(unit ball)에 대한 근사를 연구합니다. 근사 오차는 입력 도메인 전반에 걸쳐 균일하게 측정되며, 단일 표본 네트워크에 대해 최소 $1-δ$의 확률로 보장이 성립합니다. 본 연구는 일정한 깊이와 $\widetilde O_{n,d}(p^{-9}\varepsilon^{-\max\{d/n,2\}} \log(1/δ))$ 크기를 갖는 네트워크를 구성합니다. 이 구성은 유계된 국소 서브네트워크, 성공적인 근사 사건에 대한 국소화, 그리고 다중스케일 테일러 전개(multiscale Taylor decomposition)를 결합합니다. 반대로, 소볼레프 용량(Sobolev capacity)은 살아남는 에지 수에 대한 하한을 부여하며, 고정된 아핀 함수(affine function)의 근사는 충분히 높은 신뢰도에서 $((1-p)/p)\varepsilon^{-2}\log(1/δ)$ 차수의 출력층(output-layer) 비용을 요구합니다. 고정된 $p\in(0,1)$ 및 $δ<\min\{1/2,1-p\}$에 대해, 상한과 하한은 고정되거나 로그 수준의 깊이 제약 하에서 정확도 지수가 일치합니다. $d\leq2n$일 때, 이들은 정확도의 로그 항을 제외하고 신뢰도에서도 일치합니다. 나아가 본 연구는 하한을 $L^s$ 오차를 갖는 $W^{n,r}$ 타깃으로 확장하며, 이 확장을 $W^{n,\infty}$에 대한 상한과 구별합니다. 최적의 유지 의존성 및 로그 인수는 여전히 미해결 과제로 남아 있습니다.

arXiv:2512.13853v3cs.LG

퍼콜레이션 관점에서 바라본 드롭아웃 신경망 학습

Dropout Neural Network Training Viewed from a Percolation Perspective

본 연구에서는 드롭아웃(dropout)을 사용하여 심층 신경망(neural network, NN)을 학습(training)할 때 퍼콜레이션(percolation)의 존재와 그 효과를 조사한다. 드롭아웃 방법은 G. Hinton 등(2012)이 처음 소개한, 신경망 학습을 위한 정규화(regularisation) 기법이다. 이 방법들은 학습의 각 단계에서 신경망 내의 연결을 무작위로 일시 제거하고, 확률적 경사하강법(Stochastic Gradient Descent, SGD)을 사용하여 남은 서브네트워크를 갱신한다. 네트워크에서 연결을 무작위로 제거하는 과정은 통계물리학의 대표적인 모형인 퍼콜레이션과 유사하다. 만약 드롭아웃이 신경망의 입력과 출력 사이에 경로가 존재하지 않을 정도로 충분히 많은 연결을 제거한다면, 신경망은 데이터에 기반한 예측을 수행할 수 없게 된다. 우리는 신경망의 드롭아웃을 모방하는 새로운 퍼콜레이션 모델을 연구하고, 네트워크 토폴로지(topology)와 이 경로 문제 사이의 관계를 규명한다. 이 이론은 드롭아웃 내에 퍼콜레이션 효과가 존재함을 보여준다. 또한 우리는 이러한 퍼콜레이션 효과가 편향(bias)이 없는 신경망을 드롭아웃으로 학습할 때 붕괴(breakdown)를 일으킬 수 있음을 보이며, 이 붕괴 현상이 편향이 있는 신경망에도 확장됨을 휴리스틱하게 논증한다.