arXiv:2310.03530

Joint Group Invariant Functions on Data-Parameter Domain Induce Universal Neural Networks

Sho Sonoda, Hideyuki Ishi, Isao Ishikawa, Masahiro Ikeda

제출 2023-10-05

원문 초록

The symmetry and geometry of input data are considered to be encoded in the internal data representation inside the neural network, but the specific encoding rule has been less investigated. In this study, we present a systematic method to induce a generalized neural network and its right inverse operator, called the ridgelet transform, from a joint group invariant function on the data-parameter domain. Since the ridgelet transform is an inverse, (1) it can describe the arrangement of parameters for the network to represent a target function, which is understood as the encoding rule, and (2) it implies the universality of the network. Based on the group representation theory, we present a new simple proof of the universality by using Schur's lemma in a unified manner covering a wide class of networks, for example, the original ridgelet transform, formal deep networks, and the dual voice transform. Since traditional universality theorems were demonstrated based on functional analysis, this study sheds light on the group theoretic aspect of the approximation theory, connecting geometric deep learning to abstract harmonic analysis.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2410.06665v4cs.LG공통 태그 LEMMA공식 코드 · Papers with Code

기약 표현의 관점에서 재조명한 다중 치환 등변성

Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations

본 논문은 치환 및 관련 군(group)의 표현에 대한 등변(equivariant) 선형 레이어의 특성화를 탐구합니다. 매개변수 공유(parameter-sharing)를 통해 이러한 문제를 다루는 전통적인 접근법과 달리, 본 연구에서는 기약 표현(irreducible representation)과 슈어의 보조정리(Schur's lemma)에 기반한 대안적 방법론을 고려합니다. 이 방법론을 사용하여 DeepSets, 2-IGN 그래프 등변 네트워크, 딥 가중치 공간(DWS, Deep Weight Space) 네트워크와 같은 기존 모델에 대한 대안적 유도를 도출합니다. DWS 네트워크에 대한 유도는 기존 결과에 비해 훨씬 간단합니다. 나아가, 군의 화환곱(wreath product)에 대한 등변성이 요구되는 비정렬 대칭 집합으로 접근법을 확장합니다. 이전 연구들은 거의 모든 화환 등변 레이어가 샴(Siamese) 구조를 갖는 다소 제한적인 환경에서 이 문제를 다루었습니다. 이와 대조적으로, 본 논문에서는 이러한 경우의 레이어에 대한 완전한 특성화를 제시하며 일부 환경에서는 방대한 수의 추가적인 비-샴(non-Siamese) 레이어가 존재함을 보입니다. 또한 이러한 추가 비-샴 레이어가 그래프 이상치 탐지, 가중치 공간 정렬, 바세르슈타인 거리(Wasserstein distance) 학습과 같은 태스크에서 성능을 향상시킬 수 있음을 실증적으로 보여줍니다. 코드는 \href{https://github.com/yonatansverdlov/Irreducible-Representations-of-Deep-Weight-Spaces}{GitHub}에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.