arXiv:2606.31856v1 cs.LG

심층 신경망의 저차원 위상수학

Low-dimensional topology of deep neural networks

Junyu Ren, Lek-Heng Lim

제출 2026-06-30

한국어 초록

우리는 순전파 신경망, ResNet, 트랜스포머를 포함한 층화 모델을 각 층의 너비를 $d = 3$, 즉 표현 공간으로 $\mathbb{R}^3$으로 제한하여 연구한다. 이를 통해 신경망이 층을 거치며 저차원 위상 불변량을 어떻게 변화시키는지 추적할 수 있다. 거의 모든 위상 구조는 차원을 증가시키는 것만으로도 단순화되거나 심지어 자명화될 수 있다; 예를 들어, 어떤 매듭이든 $\mathbb{R}^4$에서 자명한 매듭(unknot)과 동치이다. $\mathbb{R}^3$으로 제한함으로써, 우리는 활성화와 깊이의 효과를 너비의 효과로부터 분리할 뿐만 아니라, 시각화가 용이한 공간에서 작업한다. 여기서는 링킹 수(linking number)에 집중하며, 링크 군(link groups), Milnor의 $\bar{\mu}$-불변량, 매듭 유형(knot types), 주변 코보르디즘(ambient cobordisms)과 같은 다른 불변량은 후속 연구로 미룬다. 다음의 통찰을 뒷받침하기 위해 완전한 증명과 실증 실험을 제공한다: 링킹 수의 변화를 일으키는 능력으로 측정했을 때, ResNet의 층 건너뛰기 특징은 트랜스포머의 어텐션 메커니즘만큼 강력하다; ResNet과 트랜스포머 모두 단조 활성화를 사용하는 순전파 신경망보다 엄격히 더 강력하며, 순전파 신경망은 다시 가역 및 흐름 기반 모델보다 더 강력하다; 하지만 단조 활성화를 비단조 활성화로 교체하면 순전파 신경망이 ResNet 및 트랜스포머와 동일한 표현력 클래스로 격상된다. 이러한 결과는 저차원 위상수학이 AI 아키텍처 설계를 안내하는 데 유용한 도구가 될 수 있음을 시사한다. 또한 $d = 3$에서 임의의 $d > 3$으로 결과를 일반화한다.

원문 초록

We study layered models, including feedforward networks, ResNets, and transformers, by limiting each layer to a width of $d = 3$, i.e., $\mathbb{R}^3$ as representation space. This allows us to track how a neural network changes low-dimensional topological invariants through its layers. Just about any topological structure may be simplified or even trivialized by simply increasing dimension; e.g., any knot is equivalent to an unknot in $\mathbb{R}^4$. By restricting to $\mathbb{R}^3$, we not only isolate the effects of activation and depth from that of width, we work in a space that lends itself to easy visualization. We focus on linking number here, deferring other invariants like link groups, Milnor's $\barμ$-invariants, knot types, ambient cobordisms, to a sequel. We provide full proofs and empirical experiments to justify the following insights: When measured by their power to effect changes in linking numbers, the layer-skipping feature in ResNets is as powerful as the attention mechanism in transformers; both ResNets and transformers are strictly more powerful than feedforward neural networks with monotonic activations, which are in turn more powerful than invertible and flow-based models; but replacing monotonic activation with a nonmonotonic one elevates a feedforward network into the same expressivity class as ResNets and transformers. These results suggest that low-dimensional topology can be a useful tool to guide designs of AI architectures. We also generalize our results from $d = 3$ to arbitrary $d > 3$.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.31856v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.