arXiv:2608.27113v1 math.AC

다항식 합성의 선형 독립성과 심층 신경망의 식별 가능성

Linear Independence of Polynomial Compositions and Identifiability of Deep Neural Networks

Kathlén Kohn, Giovanni Luca Marchetti, Alex Massarenti, Massimiliano Mella

제출 2026-08-27

한국어 초록

심층 학습(deep learning)의 이론적 문제들에서 동기를 얻어, 서로 다른 상수가 아닌 다항식 유한 개를 충분히 큰 차수의 일반(generic) 다항식과 사후 합성(post-composition)하면 선형 독립인 다항식들이 얻어진다는 추측을 제시한다. 이는 다항식의 거듭제곱에 관한 Newman–Slater 정리를 일반화한 것이다. 우리는 이 추측과 원점을 지나는 변형(origin-passing variant)의 여러 경우를 증명한다. 다항식이 두 개인 경우, 그리고 다항식의 차수가 유계일 때 임의 개수의 다항식에 대해 결과를 증명한다. 나아가, 이 추측이 일반 다항식 활성화 함수를 갖는 심층 완전 연결 신경망(neural network) 아키텍처의 식별 가능성(identifiability, 즉 매개변수(parameter) 대칭성)에 대한 완전한 이해를 함의함을 보인다. 특히 층(layer)별로 차수가 증가하는 활성화 함수를 갖는 네트워크 아키텍처의 경우, 우리가 증명한 추측의 버전들은 동일한 종단 간(end-to-end) 네트워크 함수를 만드는 매개변수 집합을 완전히 규명한다. 특수한 경우로서, 얕은 다항식 네트워크의 식별 가능성을 완전히 해결한다.

원문 초록

Motivated by theoretical problems in deep learning, we conjecture that post-composing a fixed number of pairwise distinct nonconstant polynomials with a generic polynomial of sufficiently large degree yields linearly independent polynomials. This generalizes Newman--Slater's theorem on powers of polynomials. We establish several cases of this conjecture and its origin-passing variant: We prove the result for two polynomials, and for an arbitrary number of polynomials when their degrees are bounded. Furthermore, we show how the conjecture implies a complete understanding of the identifiability (i.e., parameter symmetries) of deep fully connected neural network architectures with generic polynomial activation functions. In particular, for network architectures with layer-specific activations of increasing degree, our established versions of the conjecture fully characterize the set of parameters yielding the same end-to-end network function. As a special case, we fully resolve the identifiability of shallow polynomial networks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.27113v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.