aiforscience.se

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.27113v1math.AC

다항식 합성의 선형 독립성과 심층 신경망의 식별 가능성

Linear Independence of Polynomial Compositions and Identifiability of Deep Neural Networks

심층 학습(deep learning)의 이론적 문제들에서 동기를 얻어, 서로 다른 상수가 아닌 다항식 유한 개를 충분히 큰 차수의 일반(generic) 다항식과 사후 합성(post-composition)하면 선형 독립인 다항식들이 얻어진다는 추측을 제시한다. 이는 다항식의 거듭제곱에 관한 Newman–Slater 정리를 일반화한 것이다. 우리는 이 추측과 원점을 지나는 변형(origin-passing variant)의 여러 경우를 증명한다. 다항식이 두 개인 경우, 그리고 다항식의 차수가 유계일 때 임의 개수의 다항식에 대해 결과를 증명한다. 나아가, 이 추측이 일반 다항식 활성화 함수를 갖는 심층 완전 연결 신경망(neural network) 아키텍처의 식별 가능성(identifiability, 즉 매개변수(parameter) 대칭성)에 대한 완전한 이해를 함의함을 보인다. 특히 층(layer)별로 차수가 증가하는 활성화 함수를 갖는 네트워크 아키텍처의 경우, 우리가 증명한 추측의 버전들은 동일한 종단 간(end-to-end) 네트워크 함수를 만드는 매개변수 집합을 완전히 규명한다. 특수한 경우로서, 얕은 다항식 네트워크의 식별 가능성을 완전히 해결한다.