arXiv:2609.28248v1 cs.LG

hyperbolix: JAX 기반 쌍곡 심층 학습 라이브러리

hyperbolix: Hyperbolic Deep Learning in JAX

Timo Klein, Thomas Lang, Yllka Velaj, Sebastian Tschiatschek

제출 2026-09-24

한국어 초록

본 논문에서는 Flax NNX 기반으로 구축된 JAX용 오픈소스 쌍곡 심층 학습(hyperbolic deep learning) 라이브러리인 hyperbolix를 소개합니다. 우리가 아는 한, 이는 JAX에서 구현된 최초의 포괄적이고 범용적인 쌍곡 심층 학습 라이브러리입니다. 본 라이브러리는 공통 인터페이스를 갖춘 6개의 다양체(유클리드 공간, 푸앵카레 볼, 쌍곡면, $\kappa$-입체투영 모델, 혼합 곡률 곱 공간, 고유 속도 공간)를 포함합니다. 또한 선형 층, 합성곱, 어텐션, 정규화, 위치 인코딩, 회귀 및 벡터 양자화를 아우르는 층 군(layer family)을 구현합니다. 이러한 구성 요소들은 Ganea의 초기 쌍곡 신경망부터 Hypformer 및 Lorentzian ResNet과 같은 최신 완전 쌍곡 아키텍처에 이르는 방법론들을 포괄합니다. 아울러 hyperbolix는 optax 변환으로 구현된 리만 최적화기, 래핑된 분포, 쌍곡 차원 축소 기법을 포함합니다. 이 API는 관용적 JAX 스타일을 따릅니다. 다양체는 상태를 갖지 않고(stateless) 호출 시 곡률이 전달되며, 다양체 연산은 단일 점에 작용하고 jax.vmap을 통해 배치 연산이 가능합니다. 검증된 모든 연산의 정밀도는 원 논문의 폐쇄형(closed-form) NumPy/SciPy 구현 또는 유한 차분을 기준으로 float32 및 float64 모두에 대해 테스트되었습니다. 쌍곡면에서 거리 계산과 같은 표준 2점 연산 공식은 거의 동일한 두 큰 항을 빼기 때문에 원점에서 멀어질수록 정밀도를 잃습니다. hyperbolix는 기존 구현들이 NaN을 반환하는 거리에서도 float32에서 정확도를 유지하는 소거 오차 없는(cancellation-free) 공식으로 이러한 뺄셈을 대체합니다. hyperbolix는 MIT 라이선스 하에 https://github.com/timoklein/hyperbolix 에서 이용할 수 있습니다.

원문 초록

We present hyperbolix, an open-source library for hyperbolic deep learning in JAX, built on Flax NNX. To our knowledge, it is the first comprehensive, general-purpose hyperbolic deep learning library in JAX. It includes six manifolds with a common interface: Euclidean space, the Poincar\'e ball, the hyperboloid, the $\kappa$-stereographic model, mixed-curvature product spaces, and the proper velocity space. We implement layer families that cover linear layers, convolutions, attention, normalization, positional encoding, regression, and vector quantization. These building blocks span methods ranging from Ganea's original hyperbolic neural networks to recent fully hyperbolic architectures such as Hypformer and Lorentzian ResNet. Additionally, hyperbolix contains Riemannian optimizers implemented as optax transformations, wrapped distributions, and hyperbolic dimensionality-reduction techniques. Its API uses idiomatic JAX: Manifolds are stateless, with curvature being passed at call time, while manifold operations act on single points, with jax.vmap enabling batch operations. The precision of every checked operation is tested against a closed-form NumPy/SciPy transcription from the source paper or a finite difference, for both float32 and float64. On the hyperboloid, standard formulas for two-point operations, such as the distance, lose precision far from the origin, because they subtract two large, nearly equal terms. hyperbolix replaces these subtractions with cancellation-free formulas that stay accurate in float32 at distances where prior implementations return NaN. hyperbolix is available under the MIT license at https://github.com/timoklein/hyperbolix .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28248v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13881v1cs.LG공통 태그 Dimensionality Reduction, Quantization

예측은 충분한 메모리 상태가 아니다

Prediction Is Not a Sufficient Memory State

현재의 모든 예측(prediction)을 그대로 재현하는 메모리(memory)라 할지라도 다음 관측값으로부터 학습하는 방법은 잊어버렸을 수 있다. 우리는 정확한 누적 학습(cumulative learning)과 어텐션(attention)에 대해 이러한 구분을 규명한다. 제약이 없는 실수 특징(feature)과 레이블(label)을 가진 매끄러운 볼록 잔차 손실(smooth convex residual loss)에 대해, 고정된 차원의 연속적인 순환 상태(recurrent state)는 손실(loss)이 다항식(polynomial)일 때에만 정확히 존재한다. 일반적인, 가중치가 없는 관측값의 경우, 차수(degree) $D$는 정확히 $r=\binom{d+D}{D}-1$개의 좌표(coordinate)를 필요로 한다; 현재 예측자(predictor)가 하나로 고정된 히스토리(history) 사이에서도, 연속(continuation)을 위해 정확히 $r-d$개의 좌표가 여전히 필요할 수 있다. 다항식이 아닌 손실(nonpolynomial loss)은 이러한 동일 예측 히스토리(equal-prediction history)에 대해 무한한 요구사항을 가진다. 유계 스칼라 로지스틱(logistic) 예제는 임의의 유한 도함수(derivative) 제트(jet)를 고정한 후에도 이러한 장애(obstruction)를 유지한다. 리지 회귀(ridge regression)의 경우, 숨겨진 증거는 설계 행렬(design matrix)이다: 정확한 상태는 $dp+d(d+1)/2$의 비용이 드는 반면, 예측자(predictor)는 $dp$의 비용이 든다. 잘 조건화된(well-conditioned) 제로 예측 패밀리(zero-prediction family)에서, 최적의 $B$비트 압축(compression)은 임의의 무작위화된 코드(randomized code)를 사용하더라도 $d^{-1}2^{-2B/s_d}$ ($s_d=d(d+1)/2$) 차수의 평균 1회 업데이트 오차를 갖는다. 커널(kernel) 어텐션(attention)은 두 번째의 정확한 닫힘 분류(closure classification)를 제공한다. 이 결과들은 새로운 회귀(regression) 알고리즘을 제안하거나 학습된 모델(trained model)의 성능 향상을 주장하기보다는, 미래의 업데이트가 드러내는 것이 무엇인지를 규명한다.

arXiv:2610.03651v1cs.AI공통 태그 Dimensionality Reduction, Quantization

MRVQ: 차원 및 비트 전송률에 탄력적인 벡터 검색을 위한 단일 상주 인덱스

MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search

밀집 검색(dense-retrieval) 서비스는 지연 시간, 품질 및 메모리 예산 변화에 따라 임베딩 접두 차원과 인덱스 비트 전송률(bit rate) 사이를 전환해야 합니다. 각 전송률마다 양자화기(quantizer)를 개별적으로 튜닝하면 최상의 품질을 얻을 수 있지만, 검색 계층이 여러 코드 스트림과 양자화기 상태를 동시에 유지해야 합니다. 본 논문에서는 동결된 임베딩을 위한 사후 잔차 양자화기인 마트료시카 잔차 벡터 양자화(MRVQ, Matryoshka Residual Vector Quantization)를 제안합니다. MRVQ의 최대 전송률 코드는 두 가지 방식으로 잘라낼 수 있습니다. 잔차 단계를 줄이면 전송률이 낮아지고, 임베딩 좌표를 줄이면 차원이 낮아집니다. 따라서 단 하나의 상주 아티팩트만으로 평가 대상인 모든 (차원, 전송률) 쌍을 처리할 수 있습니다. FiQA 및 NFCorpus, 4가지 임베딩 계열, {4, 8, 16}바이트 코드 전반에 걸쳐 MRVQ는 평가된 설계 중 가장 적은 RAM을 사용합니다. 이는 개별적으로 학습된 3개의 QINCo2 인덱스보다 17.8~22.0배 적은 메모리를 사용하며, 간소화된 공유 모델(shared-model) 스틸맨보다 1.89~2.02배 적은 메모리를 사용합니다. 이러한 메모리 절감이 공짜는 아닙니다. 전송률별 QINCo2는 FiQA에서 nDCG@10 기준 0.026~0.107 더 우수합니다. 그러나 MRVQ는 동일한 코드 크기에서 PQ, OPQ 및 AdANNS-OPQ를 능가합니다. 또한 중앙값 기준 420배 더 빠르게 피팅되면서 RaBitQ 및 그 확장 모델과 비슷한 품질을 달성하는 낮은 구축 비용의 PCA 스칼라 설계도 평가합니다. 마지막으로 두 가지 부정적 결과(negative results)를 보고합니다. QINCo2는 높은 전송률에서 학습될 때 붕괴되며, 랭킹 경계 가설은 사전에 지정된 수락 기준을 충족하지 못합니다. 따라서 MRVQ는 탄력적 검색을 위한 저메모리 운영 지점이지 만능 품질 승자는 아닙니다.

arXiv:2607.09546v1cs.LG공통 태그 Dimensionality Reduction, Riemannian optimization

변수 투영법을 이용한 그래프 정규화 저랭크 행렬 완성

Graph-Regularized Low-Rank Matrix Completion by Variable Projection

우리는 기존의 리만 신뢰 영역 행렬 완성(Riemannian Trust-Region Matrix Completion, RTRMC) 프레임워크에 그래프 정규화(regularization)를 통합하여 저랭크 행렬 완성 문제를 다룬다. RTRMC는 저랭크 제약의 기하학적 구조를 활용하여 문제를 단일 그라스만 다양체(Grassmann manifold) 위의 비제약 최적화 문제로 재구성한다. 그래프 정규화 RTRMC(GR-RTRMC)로 명명된 우리의 접근법은 행렬의 행과 열 사이에 내재된 관계를 활용한다. 이러한 관계를 이용함으로써, 특히 기저 데이터가 행 또는 열 간에 강한 상관관계를 나타내는 시나리오에서 행렬 완성의 정확도와 강건성을 향상시키는 것을 목표로 한다.

arXiv:2607.05457v1cs.LG공통 태그 Dimensionality Reduction, Quantization

제어 가능성-관측 가능성 테스트를 통한 심층 신경망의 경험적 최소 실현 압축

Empirical Minimal-Realisation Compression of Deep Neural Networks via Controllability-Observability Tests

심층 신경망은 상당한 은닉 상태 중복성을 포함하는 경우가 많지만, 대부분의 압축 방법은 내부 상태의 동역학적 역할을 명시적으로 특성화하지 않은 채 가중치, 뉴런, 또는 양자화된 표현에 직접 작동한다. 이 논문은 심층 신경망의 경험적 상태 차수 축소를 위한 제어 가능성-관측 가능성 프레임워크를 제안한다. 학습된 네트워크를 깊이 인덱싱된 비선형 동역학 시스템으로 간주하여, 은닉 상태 스냅샷과 출력 야코비안으로부터 데이터 기반 도달 가능성(reachability), 관측 가능성(observability), 및 균형 그래미언(balanced Gramian)을 구성한다. 이를 통해 도출된 A/B/C 테스트는 층별 도달 가능 순위, 관측 가능 순위, 그리고 공동 도달 가능-관측 가능 순위를 추정한다. 이 순위들은 은닉 상태 중복성의 진단 척도로만 활용되는 것이 아니라, 실현된 축소 네트워크의 실제 압축 층 너비로도 사용된다. MNIST와 CIFAR-10에 대한 실험에서는 제안된 균형 실현을 투영 기반 축소, 비구조적 가지치기, 구조적 가지치기, 저순위 SVD, 동적 INT8 양자화, 그리고 선형 기준선과 비교한다. MNIST에서 4층 SiLU DNN은 상태 차수 1024에서 277로 축소되어 72.95%의 상태 압축과 73.48%의 매개변수 압축을 달성하며, 전체 모델의 96.60% 대비 95.45%의 정확도를 유지한다. CIFAR-10에서는 더 큰 SiLU DNN이 상태 차수 4608에서 1339로 축소되어 70.94%의 상태 압축과 83.09%의 매개변수 압축을 달성하고, 정확도를 54.45%에서 54.44%로 유지하면서 CUDA 추론 지연 시간을 약 3배 감소시킨다. 결과는 균형 도달 가능-관측 가능 순위가 정확도 손실이 거의 없거나 전혀 없이 컴팩트한 신경망 아키텍처를 설계하기 위한 원리적인 경험적 최소 실현 기준을 제공함을 보여준다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.