arXiv:2609.18682v3 stat.ML

DAG ReLU 네트워크의 경로 리프팅 야코비안의 랭크 및 계산

Rank and computation of the pathlifting Jacobian of a DAG ReLU network

Manon Verbockhaven (OCKHAM)

제출 2026-11-17

한국어 초록

본 논문에서는 네트워크의 은닉 노드 수에 대한 귀납법을 수행하여 방향성 비순환 그래프(DAG) 렐루(ReLU) 네트워크의 경로 리프팅(pathlifting) 야코비안(Jacobian)의 랭크(rank)에 대한 자체 완비적인 증명을 제공합니다. 실제로 이 귀납법은 기초적이며, 핵심 비결은 네트워크 경로를 인코딩하는 희소 행렬인 네트워크의 스켈레톤 행렬(skeleton matrix)을 고려하고 은닉 뉴런 중 하나의 표현을 출력 노드로 변환하는 것입니다. 이 증명은 경로 리프팅, 해당 야코비안, 네트워크 매개변수 및 스켈레톤 행렬을 연결하는 중간 명제들에 의존하며, 이는 경로 리프팅 야코비안의 랭크를 도출할 수 있게 할 뿐만 아니라 역전파(backpropagation) 없이 이를 계산하는 방법을 제공하고 실제 계산 비용이 통상적인 역전파에 비해 매우 효율적입니다. 본 논문은 피드포워드 네트워크에 대해 논문의 다양한 명제들을 구현한 Python 모듈을 함께 제공하며, 제안된 이론을 통해 경로 리프팅 야코비안을 계산할 때의 연산상의 이득을 실험적으로 정량화하는 데 사용됩니다.

원문 초록

This paper provides a self-contained proof of the rank of the pathlifting Jacobian of a DAG ReLU network by performing an induction on the network's number of hidden nodes. In fact, the induction is elementary, and the key recipe is to consider the skeleton matrix of the network, a sparse matrix encoding the network paths, and transform the representation of one of its hidden neurons into an output node. The proof relies on intermediate propositions which link the pathlifting, its Jacobian, the network parameters, and its skeleton matrix, which, on top of permitting to conclude on the rank of the pathlifting Jacobian, also provide a way to compute it without backpropagation and whose computation cost is super efficient in practice compare to usual backpropagation. The paper is provided with a Python module that implements the different propositions of the paper for feed forward networks and is used to experimentally quantifies the computational gain of computing the pathlifting Jacobian with the proposed theory.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.18682v3제출 시각 미확인
  2. arXiv:2609.18682v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.