arXiv:2210.13150

A PAC-Bayesian Generalization Bound for Equivariant Networks

Arash Behboodi, Gabriele Cesa, Taco Cohen

제출 2022-10-24

원문 초록

Equivariant networks capture the inductive bias about the symmetry of the learning task by building those symmetries into the model. In this paper, we study how equivariance relates to generalization error utilizing PAC Bayesian analysis for equivariant networks, where the transformation laws of feature spaces are determined by group representations. By using perturbation analysis of equivariant networks in Fourier domain for each layer, we derive norm-based PAC-Bayesian generalization bounds. The bound characterizes the impact of group size, and multiplicity and degree of irreducible representations on the generalization error and thereby provide a guideline for selecting them. In general, the bound indicates that using larger group size in the model improves the generalization error substantiated by extensive numerical experiments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05735v1stat.ML공통 태그 Generalization Bounds, Inductive Bias

평균장 베이지안 신경망에서의 폭 강건 학습가능성

Width-Robust Learnability in Mean-Field Bayesian Neural Networks

무한 폭 극한(infinite-width limit)은 신경망을 분석하는 표준적인 방법이지만, 극한 학습기가 대형 유한 신경망과 동일한 계산 복잡도 이론적 귀납 바이어스를 갖는다는 것이 자동으로 보장되지는 않는다. 우리는 이 문제를 평균장(mean-field), 즉 임계 특징 학습 스케일링에서의 베이지안 신경망에 대해 연구한다. 핵심 수량은 축약 엔트로피(reduced entropy) \[ s_\infty(y,\varepsilon)=\limsup_N -\frac{1}{N}\log π_N^0(L\le \varepsilon), \] 즉 타깃 함수 $y$를 모집단 평균제곱오차 $\varepsilon$으로 표현하는 데 드는 집약적 사전 비용이다. 우리의 주요 결과는 폭 강건 학습가능성 정리이다. 고정된 깊이에서, 불리언 큐브 타깃의 집합은 무한 폭에서 다항식 개의 샘플로 학습 가능한 경우, 그리고 오직 그 경우에만 다항식 폭에서도 학습 가능하며, 이는 또한 그 축약 엔트로피가 다항식으로 유계인 경우와 동치이다. 동치적으로, 정확도의 다항식 여유 범위 내에서, 베이지안 평균장 학습기는 다항식 크기의 신경망으로 표현될 수 있는 타깃에 대해 정확히 일반화한다. 순방향은 서브샘플링(subsampling)의 한 형태로 증명된다: 평균장 해에 있는 무한히 많은 은닉 뉴런 중에서 다항식 개의 대표를 선택하더라도 모든 입력에 대해 학습된 함수를 동시에 보존할 수 있다. 임계 스케일링에서 이 서브샘플링은 데이터 의존적 저차원 통계를 유지하는 '능동적(active)' 성분과, 엔트로피가 지배하는 방향들을 사전 분포로부터 재샘플링하는 '지연적(lazy)' 성분을 모두 갖는다. 따라서 무한 폭 평균장 극한은 허위적인 폭 의존적 일반화 능력을 도입하지 않으면서 학습에 대한 깔끔한 해석적 서술을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.