Klein Model for Hyperbolic Neural Networks
원문 초록
Hyperbolic neural networks (HNNs) have been proved effective in modeling complex data structures. However, previous works mainly focused on the Poincar\'e ball model and the hyperboloid model as coordinate representations of the hyperbolic space, often neglecting the Klein model. Despite this, the Klein model offers its distinct advantages thanks to its straight-line geodesics, which facilitates the well-known Einstein midpoint construction, previously leveraged to accompany HNNs in other models. In this work, we introduce a framework for hyperbolic neural networks based on the Klein model. We provide detailed formulation for representing useful operations using the Klein model. We further study the Klein linear layer and prove that the "tangent space construction" of the scalar multiplication and parallel transport are exactly the Einstein scalar multiplication and the Einstein addition, analogous to the M\"obius operations used in the Poincar\'e ball model. We show numerically that the Klein HNN performs on par with the Poincar\'e ball model, providing a third option for HNN that works as a building block for more complicated architectures.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TabPFN: One Model to Rule Them All?
미분 가능한 비선형 모델 예측 제어
Differentiable Nonlinear Model Predictive Control
매개변수적 해 민감도의 효율적인 계산은 학습 강화 방법을 비선형 모델 예측 제어와 통합하는 데 있어 핵심 과제이며, 이는 많은 학습 알고리즘에서 민감도의 가용성이 필수적이기 때문이다. 본 논문은 음함수 정리와 내점법(IPM)에서 다루는 평활화된 최적성 조건을 이용하여 일반 비선형 계획법의 해 민감도를 계산하는 방법을 논한다. 장벽 매개변수가 지정된 비음수 목표값에 접근하도록 허용하여 SQP와 IPM 이차계획법(QP) 풀이기를 일반화하고, 이 목표값이 0일 때 고전적 SQP를 복원하는 순차 장벽 이차계획법(sequential barrier quadratic programming, SBQP)을 도입한다. 기존 연구는 볼록 또는 제약 없는 정식화에 한정되거나 효율적인 민감도 평가를 위한 구현이 부족하다. 본 발표는 `acados` 프레임워크 내의 효율적인 오픈소스 구현을 동반하며, 일반 최적 제어 문제에 대해 순방향 및 수반(adjoint) 민감도를 모두 제공하고 최신 풀이기인 `mpc.pytorch` 및 `cvxpygen` 대비 3배를 넘는 속도 향상을 달성한다.
Making Language Model a Hierarchical Classifier and Generator
Implementing Adaptations for Vision AutoRegressive Model
Graph World Model
Compress Any Segment Anything Model (SAM)
토론
이 논문과 연결된 포럼 글이 아직 없습니다.