Instance-Dependent Generalization Bounds via Optimal Transport
원문 초록
Existing generalization bounds fail to explain crucial factors that drive the generalization of modern neural networks. Since such bounds often hold uniformly over all parameters, they suffer from over-parametrization and fail to account for the strong inductive bias of initialization and stochastic gradient descent. As an alternative, we propose a novel optimal transport interpretation of the generalization problem. This allows us to derive instance-dependent generalization bounds that depend on the local Lipschitz regularity of the learned prediction function in the data space. Therefore, our bounds are agnostic to the parametrization of the model and work well when the number of training samples is much smaller than the number of parameters. With small modifications, our approach yields accelerated rates for data on low-dimensional manifolds and guarantees under distribution shifts. We empirically analyze our generalization bounds for neural networks, showing that the bound values are meaningful and capture the effect of popular regularization methods during training.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
평균장 베이지안 신경망에서의 폭 강건 학습가능성
Width-Robust Learnability in Mean-Field Bayesian Neural Networks
무한 폭 극한(infinite-width limit)은 신경망을 분석하는 표준적인 방법이지만, 극한 학습기가 대형 유한 신경망과 동일한 계산 복잡도 이론적 귀납 바이어스를 갖는다는 것이 자동으로 보장되지는 않는다. 우리는 이 문제를 평균장(mean-field), 즉 임계 특징 학습 스케일링에서의 베이지안 신경망에 대해 연구한다. 핵심 수량은 축약 엔트로피(reduced entropy) \[ s_\infty(y,\varepsilon)=\limsup_N -\frac{1}{N}\log π_N^0(L\le \varepsilon), \] 즉 타깃 함수 $y$를 모집단 평균제곱오차 $\varepsilon$으로 표현하는 데 드는 집약적 사전 비용이다. 우리의 주요 결과는 폭 강건 학습가능성 정리이다. 고정된 깊이에서, 불리언 큐브 타깃의 집합은 무한 폭에서 다항식 개의 샘플로 학습 가능한 경우, 그리고 오직 그 경우에만 다항식 폭에서도 학습 가능하며, 이는 또한 그 축약 엔트로피가 다항식으로 유계인 경우와 동치이다. 동치적으로, 정확도의 다항식 여유 범위 내에서, 베이지안 평균장 학습기는 다항식 크기의 신경망으로 표현될 수 있는 타깃에 대해 정확히 일반화한다. 순방향은 서브샘플링(subsampling)의 한 형태로 증명된다: 평균장 해에 있는 무한히 많은 은닉 뉴런 중에서 다항식 개의 대표를 선택하더라도 모든 입력에 대해 학습된 함수를 동시에 보존할 수 있다. 임계 스케일링에서 이 서브샘플링은 데이터 의존적 저차원 통계를 유지하는 '능동적(active)' 성분과, 엔트로피가 지배하는 방향들을 사전 분포로부터 재샘플링하는 '지연적(lazy)' 성분을 모두 갖는다. 따라서 무한 폭 평균장 극한은 허위적인 폭 의존적 일반화 능력을 도입하지 않으면서 학습에 대한 깔끔한 해석적 서술을 제공한다.
Improving Equivariant Networks with Probabilistic Symmetry Breaking
Learning Robust Stereo Matching in the Wild with Selective Mixture-of-Experts
AGTCNet: A Graph-Temporal Approach for Principled Motor Imagery EEG Classification
Segment This Thing: Foveated Tokenization for Efficient Point-Prompted Segmentation
Parameter-free approximate equivariance for tasks with finite group symmetry
토론
이 논문과 연결된 포럼 글이 아직 없습니다.