arXiv:2610.12336v1 cs.MS

asdex: JAX에서의 자동 희소 미분

asdex: Automatic Sparse Differentiation in JAX

Adrian Hill, Guillaume Dalle

제출 2026-10-08

저자 비고

arXiv Comments

1 table

한국어 초록

과학 컴퓨팅과 머신러닝의 많은 작업에서는 함수의 야코비안(Jacobian) 또는 헤시안(Hessian) 행렬을 필요로 합니다. 자동 미분(AD)은 이러한 도함수를 기계 정밀도(machine precision) 수준으로 계산하지만, 조밀한(dense) $m \times n$ 야코비안을 구체화하려면 열 또는 행당 하나씩, $n$회의 전진 모드(forward-mode) 또는 $m$회의 후진 모드(reverse-mode) AD 패스가 필요합니다. 광범위한 함수 클래스에서는 각 출력이 소수의 입력에만 의존하므로 도함수 행렬이 희소(sparse)해집니다. 자동 희소 미분(ASD)은 이러한 구조를 네 단계로 활용합니다: 입력 무관 희소성 패턴 감지, AD 패스를 공유할 수 있는 열이나 행을 그룹화하기 위한 그래프 컬러링, 색상당 한 번의 AD 패스로 압축된 도함수 행렬을 계산하는 압축 미분, 그리고 마지막으로 원래 희소성 패턴으로의 압축 해제입니다. 색상의 수, 즉 AD 패스의 수는 문제 차원과 무관한 경우가 많습니다. 예를 들어 $b$개의 연속된 띠를 갖는 띠 야코비안(banded Jacobian)은 크기에 관계없이 항상 $b$개의 색상만 필요로 합니다. asdex는 널리 사용되는 JAX 생태계에서 최초의 독립형 ASD 툴킷을 제공합니다. asdex.jacobian 및 asdex.hessian을 통해 jax.jacobian 및 jax.hessian을 희소 방식으로 즉시 대체할 수 있는 기능을 제공합니다.

원문 초록

Many tasks in scientific computing and machine learning require the Jacobian or Hessian matrix of a function. Automatic differentiation (AD) computes these derivatives to machine precision, but materializing a dense $m \times n$ Jacobian requires $n$ forward-mode or $m$ reverse-mode AD passes, one per column or row. For a large class of functions, each output depends on only a few inputs, making the derivative matrix sparse. Automatic sparse differentiation (ASD) exploits this structure in four steps: detection of the input-agnostic sparsity pattern, coloring of a graph to group columns or rows that can share an AD pass, compressed differentiation to compute a compressed derivative matrix with one AD pass per color, and finally decompression into the original sparsity pattern. The number of colors, and hence of AD passes, is often independent of the problem dimension: a banded Jacobian with $b$ contiguous bands, for instance, only ever requires $b$ colors, regardless of its size. asdex offers the first standalone ASD toolkit in the popular JAX ecosystem. With asdex.jacobian and asdex.hessian, it provides sparse drop-in replacements for jax.jacobian and jax.hessian.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.12336v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.