너비와 깊이로 특징지어지는 깊은 ReLU 신경망의 암기 용량
Memorization capacity of deep ReLU neural networks characterized by width and depth
한국어 초록
본 논문은 ReLU 활성화를 사용하는 깊은 신경망의 암기 용량을 연구한다. 구체적으로, 단위 공 안에서 쌍별 분리 거리가 $\delta$이고 크기 $C$인 유한 집합에서 레이블을 갖는 임의의 $N$개 데이터 점을 암기하기 위한 이러한 신경망의 최소 크기를 조사한다. 대부분의 기존 연구는 암기 용량을 매개변수 또는 뉴런의 수로 특징짓는다. 본 논문은 $W^2L^2\log W=\mathcal{O}(N(\log(\delta^{-1})+\log C))$를 만족하며 조절 가능한 너비 $W$와 깊이 $L$을 갖는 ReLU 신경망을 구성하여, 그러한 임의의 데이터셋을 암기할 수 있음을 보임으로써 이러한 결과를 확장한다. 또한 그러한 모든 데이터셋을 암기할 수 있는 신경망에 대해 $\delta$와 $C$에 명시적으로 의존하는 너비-깊이 하한을 확립한다. $\log(\delta^{-1})\asymp\log N$일 때, 본 구성은 적절한 너비와 깊이 선택에 대해 $W^2L^2\asymp N$을 달성한다. 이 차수는 $\log C\asymp\log N$이면 최적이며, $\log C=o(\log N)$이면 로그 인자를 제외하고 최적이다.
원문 초록
This paper studies the memorization capacity of deep neural networks with ReLU activation. Specifically, we investigate the minimal size of such networks to memorize any $N$ data points in the unit ball with pairwise separation distance $\delta$ and labels from a finite set of size $C$. Most prior studies characterize the memorization capacity by the number of parameters or neurons. We extend these results by constructing ReLU networks with adjustable width $W$ and depth $L$ satisfying $W^2L^2\log W=\mathcal{O}(N(\log(\delta^{-1})+\log C))$ that can memorize any such dataset. We also establish width-depth lower bounds that depend explicitly on $\delta$ and $C$ for networks capable of memorizing all such datasets. When $\log(\delta^{-1})\asymp\log N$, our construction achieves $W^2L^2\asymp N$ for suitable choices of width and depth. This order is optimal if $\log C\asymp\log N$, and optimal up to logarithmic factors if $\log C=o(\log N)$.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.09589v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.