arXiv:2506.19695v2 stat.ML

심층 무작위 렐루(ReLU) 신경망의 $\ell^p$-립시츠 상수에 대한 준최적 추정

Near-optimal estimates for the $\ell^p$-Lipschitz constants of deep random ReLU neural networks

Sjoerd Dirksen, Patrick Finke, Paul Geuchen, Dominik Stöger, Felix Voigtlaender

제출 2025-06-24

한국어 초록

본 논문에서는 $p \in [1,\infty]$에 대해 무작위 파라미터를 갖는 렐루 신경망 $Φ: \mathbb{R}^d \to \mathbb{R}$의 $\ell^p$-립시츠(Lipschitz) 상수를 연구합니다. 가중치의 분포는 He 초기화의 변형을 따릅니다. 바이어스가 0인 신경망의 경우, 넓은(wide) 신경망에 대해 기껏해야 네트워크 깊이의 로그 인자만큼만 차이나는 높은 확률의 상한 및 하한을 도출합니다. 주목할 점은 $\ell^p$-립시츠 상수의 거동이 $p \in [1,2)$와 $p \in [2,\infty]$ 영역 사이에서 크게 달라진다는 것입니다. $p \in [2,\infty]$의 경우, $\ell^p$-립시츠 상수는 $\Vert g\Vert_{p'}$와 유사하게 거동하며, 여기서 $g \in \mathbb{R}^d$는 $d$차원 표준 가우시안 벡터이고 $1/p + 1/p' = 1$입니다. 반면, $p \in [1,2)$의 경우 $\ell^p$-립시츠 상수는 $\Vert g \Vert_{2}$에 더 가깝게 일치합니다. 나아가 임의의 대칭 분포에서 추출된 0이 아닐 수 있는 바이어스를 갖는 신경망으로 분석을 확장합니다. 이 경우, 기껏해야 네트워크 너비의 로그 인자 및 깊이의 선형 인자만큼만 차이나는 높은 확률의 상한과 하한을 얻습니다.

원문 초록

This paper studies the $\ell^p$-Lipschitz constants of ReLU neural networks $Φ: \mathbb{R}^d \to \mathbb{R}$ with random parameters for $p \in [1,\infty]$. The distribution of the weights follows a variant of the He initialization. In the case of zero-bias networks, we derive high probability upper and lower bounds for wide networks that differ at most by a factor that is logarithmic in the network's depth. Remarkably, the behavior of the $\ell^p$-Lipschitz constant varies significantly between the regimes $ p \in [1,2) $ and $ p \in [2,\infty] $. For $p \in [2,\infty]$, the $\ell^p$-Lipschitz constant behaves similarly to $\Vert g\Vert_{p'}$, where $g \in \mathbb{R}^d$ is a $d$-dimensional standard Gaussian vector and $1/p + 1/p' = 1$. In contrast, for $p \in [1,2)$, the $\ell^p$-Lipschitz constant aligns more closely to $\Vert g \Vert_{2}$. We extend our analysis to networks with possibly non-zero biases drawn from arbitrary symmetric distributions. In this case, we obtain high probability upper and lower bounds that differ at most by a factor that is logarithmic in the network's width and linear in its depth.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2506.19695v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.