PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13931v1math.AT

신경망의 위상수학적 표현력에 대한 구성적 한계

Constructive Bounds for the Topological Expressivity of Neural Networks

신경망(neural network) $Φ$의 표현력(expressivity)은 해당 네트워크가 표현할 수 있는 함수의 클래스를 설명합니다. 위상수학적 표현력(topological expressivity)이라는 용어는 이진 분류(classification)를 이해하는 데 특히 적합한 일련의 척도를 의미하며, 종종 결정 경계의 베티 수(Betti number)인 $β(Φ^{-1}(0))$의 관점에서 공식화됩니다. 이러한 대중성에도 불구하고, 이 척도는 회귀 및 결정 경계를 수반하지 않는 기타 문제에는 그다지 유용하지 않습니다. 대신, 본 논문에서는 신경망 출력의 베티 수인 $β(Φ(X))$의 관점에서 위상수학적 표현력을 연구할 것을 제안합니다. 우리는 구조가 $(d,\sum\limits_{k=1}^{d } β_k(3k+2),\sum\limits_{k=1}^{d}β_k(k+1))$인 렐루(ReLU) 네트워크가 임의의 베티 수를 갖는 구(sphere)들의 쐐기합(wedge sum)과 호모토피 동치(homotopy equivalent)인 공간을 표현할 수 있음을 엄밀하게 증명합니다. 이는 임의의 연결된($β_0=1$) 베티 수 수열에 대한 상한을 제공하지만, 차원이 $d_1,...,d_N$인 $N$개 구의 곱과 호모토피 동치인 공간을 구성함으로써 $\prod_n (1+x^{d_n})$으로 주어지는 베티 수에 대해 훨씬 더 나은 한계인 $(\sum\limits_{n=1} d_n, 3\sum\limits_{n=1}\limits^N d_n + 2N, \sum\limits_{n=1}\limits^N d_n + N)$을 얻습니다. 마지막으로, 우리는 구와 위상동형(homeomorphic)인 공간에 대해 구조적 한계 $(d,d+1,d+1)$을 제공하는 훨씬 더 강력하고 타이트한 한계를 제시(conjecture)합니다.