arXiv:2611.19382v1 stat.ML

희소 연결 신경망의 일반화 경계

Generalization Bounds for Neural Networks with Sparse Connectivity

Nong Minh Hieu, Antoine Ledent

제출 2026-11-17

한국어 초록

실험적 증거에 따르면 대규모 신경망은 모든 매개변수를 효과적으로 쓰는 경우가 드물고, 학습한 해에는 뚜렷한 희소성이 나타난다. 이 현상은 널리 관측됐지만 희소성이 통계적 성능에 미치는 영향은 기존 일반화 이론으로 일부만 설명할 수 있다. 본 논문은 층별 가중치 행렬이 $\ell_p$ 준노름($0<p\leq 1$) 제약을 받는 심층 신경망의 비점근 일반화 격차 경계를 도출한다. 이 분석은 고전적인 노름 기반 일반화 보장과 매개변수 개수에 따른 경계 사이를 잇는 새로운 결과를 제시한다. 준노름 차수 $p$가 0으로 접근하는 극단적 희소성의 극한에서는 경계가 활성 매개변수, 즉 값이 0이 아닌 매개변수의 개수에 대한 제곱근 의존성으로 전환된다. 그 결과 기존 매개변수 개수 기반 접근보다 경계가 더 엄밀해진다. 실험에서는 과매개변수화 영역에서 제안한 경계가 처음 선택한 아키텍처에 덜 의존했으며, 자연 데이터로 학습할 때 생기는 희소성의 일반화 이점을 효과적으로 포착했다.

원문 초록

Empirical evidence suggests that large neural networks rarely make effective use of all available parameters, with learned solutions exhibiting pronounced sparsity. Despite this ubiquity, existing generalization theory only partially explains how such sparsity influences statistical performance. In this paper, we derive non-asymptotic generalization gap bounds for deep neural networks whose layer-wise weight matrices are restricted by $\ell_p$ quasi-norm ($0<p\leq 1$) constraints. Our analysis gives rise to a novel result that interpolates between classical norm-based generalization guarantees and parameter-counting bounds. Remarkably, in the extreme sparsity limit as the quasi-norm order $p$ approaches zero, our analysis reveals a transition to a square-root dependence on the number of \emph{active} (non-zero) parameters, resulting in bounds that are strictly tighter than existing parameter-counting approaches. Experiments demonstrate that our bounds exhibit a milder dependence on initial architectural choice at the over-parametrization regime, effectively capturing the generalization benefit of the sparsity arising from training on natural data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19382v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.