arXiv:2611.20346v1 math.CO

정준 활성화 패턴과 ReLU 패턴 다양체

Canonical activation patterns and ReLU pattern varieties

Bella Finkel, Yaoying Fu, Chenxi Wu

제출 2026-11-16

한국어 초록

ReLU 패턴 다양체는 ReLU 네트워크에서 규정된 활성화 패턴 집합에 대응하는 아핀 사상 계수들 사이의 다항식 관계를 기록한다. 우리는 편향이 없는 ReLU 네트워크의 정준 활성화 패턴 집합의 조합론이 그 패턴 다양체의 기하에 어떻게 반영되는지를 연구한다. 특히 패턴 안정성의 개념을 도입하고, 얕은 네트워크에 대해 패턴 안정성과 조합적 안정성을 특성화한다. 연관된 벽 그래프가 연결되어 있고 모든 뉴런 레이블의 간선을 포함할 때, 연관된 패턴 다양체의 정의 아이디얼을 명시적으로 결정하여 Alexandr와 Montúfar의 문제를 해결한다. 우리는 레이블 조합적 동치, 정준 패턴 집합의 동일성 및 순열 동치, 그리고 연관된 다양체의 동치를 연결하는, 점차 약해지는 동치 관계의 위계를 확립한다. 마지막으로 함수적 차원을 패턴 사상의 미분과 연결하고, 모든 깊이에서 이것이 정준 패턴 다양체의 차원으로 위에서 유계임을 보인다. 퇴화하지 않는 얕은 네트워크에 대해서는 함수적 차원의 정확한 공식을 제시하며, 모든 얕은 구조에 대해 함수적 차원은 전체 르베그 측도를 갖는 열린 조밀 집합 위에서 정준 패턴 다양체의 차원과 같다.

원문 초록

A ReLU pattern variety records the polynomial relations among the coefficients of the affine maps associated with a prescribed set of activation patterns of a ReLU network. We study how the combinatorics of the canonical set of activation patterns of an unbiased ReLU network is reflected in the geometry of its pattern variety. In particular, we introduce the notion of pattern stability and characterize pattern stability and combinatorial stability for shallow networks. When the associated wall graph is connected and contains an edge of every neuron label, we resolve a problem of Alexandr and Mont\'ufar by determining the defining ideal of the associated pattern variety explicitly. We establish a hierarchy of progressively weaker equivalence relations relating labeled combinatorial equivalence, equality and permutation equivalence of canonical pattern sets, and equivalences of the associated varieties. Finally, we relate functional dimension to the differential of the pattern map and show that it is bounded above by the dimension of the canonical pattern variety at every depth. For nondegenerate shallow networks, we give an exact formula for the functional dimension; for every shallow architecture, it equals the dimension of the canonical pattern variety on an open dense set of full Lebesgue measure.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20346v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.