arXiv:2608.19584v5 cs.LG

K\"ahler landscapes for complex neural network descents and guarantees including a search and destroy of the Calabi-Yau manifold

Andrew Gracyk

제출 2026-11-17

저자 비고

arXiv Comments

Improvements; added a contributions section; fixed problems with Lemma 8; the claim in Lemma 13 needed compatibility with a (0,1)-form, not a (1,0)-form; some of the discussion was previously for compact manifolds, so it should be clear we are in the non-compact case

원문 초록

We study landscapes for complex-parameterized networks. Our approach is motivated with an information-theoretic manifold perspective of the parameter and via classical optimization guarantees although of complex geometric variety such as through Dolbeault asymptotics. The descent path admits a K\"ahler information metric under a cross-entropy via the Wirtinger Hessian on the log-likelihood potential. We descend according to a differentiated loss scaled by the inverse metric, so the descent path remains in the holomorphic tangent bundle. We emphasize information manifolds which profane theoretical guarantees via ill-curvature-conditioned, or lack thereof, landscapes. We focus on Calabi-Yau metrics specifically in a non-compact setting with a global potential, so defined geometrically rather than invoking the topological requirements of the Calabi conjecture. In non-compact settings, we can write the metric determinant with respect to a background in terms of a function, pluriharmonic or real. Using Yau's Liouville theorem, we get a small eigenvalue blow-up effect under nontrivial background interaction, geometric invariance of the endomorphism constant, and almost low rank assumptions. In an empirical setting, a Ricci-flat metric will not form, but large eigenvalues can be a local condition and hold empirically on open sets even in generalized K\"ahler cases due to lower bounds on the Ricci potential. Moreover, it has been discovered that negative curvature subverts the loss landscape, specifically sectional curvature, so we expand on this and draw interconnections to negative-definite Ricci curvature. Our arguments primarily exist via geometric modality, although we establish roots in deep learning theory such as through asymptotics at initialization and connections through failure modes of neural network guarantees under vanishing and negative Ricci curvature.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.19584v5제출 시각 미확인
  2. arXiv:2608.19584v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.00168v5stat.ML공통 태그 information geometry공식 코드 · Papers with Code

지도 2차 특징 분석: 차원 축소를 위한 정보 기하학 접근

Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction

지도 차원 축소는 클래스 분리를 유지하면서 레이블이 붙은 데이터를 저차원 특징 공간으로 매핑한다. 일반적인 전략은 클래스 조건부(class-conditional) 확률 분포 간 통계적 비유사성(dissimilarity) 측정을 최대화하는 특징을 학습하는 것이다. 리만 기하학(Riemannian geometry)에 뿌리를 둔 정보 기하학(information geometry)은 클래스 비유사성 측정을 위한 대안적 틀을 제공한다. 이는 확률 분포를 통계적 다양체(statistical manifold) 상의 점으로 취급하고, Fisher 정보 계량(Fisher information metric)을 사용하여 분포 간 측지 거리(geodesic distance)—Fisher-Rao 거리—를 정의한다. Fisher-Rao 거리는 Fisher 정보 계량이 국소적 변별력(discriminability)의 측도이고 기하학적 해석이 가능하기 때문에 클래스 분리 측정에 매력적인 후보이다. 본 논문에서는 가우시안 가정 하에서 클래스 조건부 분포 간 Fisher-Rao 거리를 최대화하는 선형 특징을 학습하는 지도 차원 축소 방법인 지도 2차 특징 분석(Supervised Quadratic Feature Analysis, SQFA)을 제안한다. 여러 실제 데이터셋에서 SQFA 특징은 더 널리 쓰이는 비유사성 측도를 최대화한 특징이나 다른 최신(state-of-the-art) 차원 축소 방법으로 학습된 특징과 경쟁력 있는 분류 정확도를 달성한다. 특히 차원 축소에서 드물게 사용되는 목적 함수인 Hellinger 거리를 최대화하는 SQFA 변형인 SQFA-H 특징이 최고의 분류 정확도를 달성한다. 이 결과는 지도 차원 축소 도구로서 정보 기하학의 잠재력을 보여준다. SQFA의 Python 구현은 https://github.com/dherrera1911/sqfa 에서 제공한다.

arXiv:2610.11038v1math.ST공통 태그 information geometry

의사결정 충분 사후 분포 근사

Decision-Sufficient Posterior Approximation

우리는 사후 분포 근사가 특정한 하위(downstream) 의사결정 문제를 보존하도록 요구할 때 발생하는 결과를 조사한다. 목표 사후 분포 $P$와 손실은 행동(action)에 대한 리그렛(regret) 기하 구조를 결정하고, 기준선 근사 $Q_0$는 행동 변화를 유도하는 데 필요한 전방(forward) Kullback-Leibler 정보량을 결정하며, 제한된 근사 가족 $\mathcal{Q}$는 그러한 변화 중 어떤 것이 가능한지를 결정한다. 베이즈 행동(Bayes-action) 섬유(fiber)에 대해 KL 발산을 수축시키면, 의사결정 적절성(decision adequacy)과 의사결정 실패(decision failure)까지의 정확한 거리를, 결정 경계의 양쪽에 도달하는 최소 정보량의 사후 분포 변형(deformation)과 함께 얻을 수 있다. 정규(regular) 유한 차원 문제에서 목표 및 기준선 구성은 2차(quadratic) 국소 극한을 가지며, 이는 목표 리그렛 헤시안 $G$와 기준선 정보 메트릭 $J_I$이다. 이들의 일반화 고유값 문제(generalized eigenproblem) $Gv = γJ_Iv$는 단위 정보 비용당 리그렛 결과에 따라 국소 의사결정 방향들을 정렬하며, 허용 오차(tolerance)에 의존하는 유효 차원(effective dimension)을 유도한다. 제한된 근사 가족의 경우, 탄젠트 이미지(tangent image)는 의사결정 범위(decision coverage)와 정보 효율성(information efficiency)을 구분한다: 어떤 가족은 중요한 의사결정 방향을 놓칠 수 있고, 또는 도달 가능한 방향을 과도한 피셔(Fisher) 비용으로만 실현할 수도 있다. 이 프레임워크는 사후 분포 근사 가족을 비교하고 설계하기 위한 의사결정 상대적(decision-relative) 기준을 제공한다.

arXiv:2510.13210v2cs.LG공통 태그 natural gradient descent

볼츠만 머신 학습에서 이징 및 QUBO 변수 인코딩의 성능 평가

Performance Evaluation of Ising and QUBO Variable Encodings in Boltzmann Machine Learning

본 연구에서는 각 비교 내에서 샘플러, 옵티마이저(optimizer), 학습률 설계를 고정한 통제된 프로토콜 하에 볼츠만 머신 학습(Boltzmann machine learning)을 위한 이징(Ising, {-1, +1}) 및 QUBO({0, 1}) 인코딩을 비교합니다. 피셔 정보 행렬(Fisher Information Matrix, FIM)이 충분통계량의 공분산과 같다는 항등식을 활용하여, 모델 샘플로부터 도출된 경험적 모멘트를 시각화하고 표현에 따른 체계적인 차이를 밝혀냅니다. QUBO는 1차 및 2차 통계량 간에 더 큰 교차항(cross term)을 유발하여 FIM에서 더 많은 작은 고윳값 방향을 생성하고 스펙트럼 엔트로피를 낮춥니다. 이러한 불량 조건(ill-conditioning)은 확률적 경사하강법(SGD) 환경에서 수렴이 더 느려지는 원인을 설명합니다. 대조적으로, FIM 메트릭으로 업데이트 크기를 재조정하는 전체 FIM 자연 경사하강법(NGD)은 인코딩 전반에 걸쳐 유사한 수렴을 달성하는 반면, 대각 FIM 근사는 표현에 따른 차이를 다시 야기할 수 있습니다. 실질적으로 SGD 기반 학습의 경우 이징 인코딩이 더 등방성(isotropic)에 가까운 곡률과 더 빠른 수렴을 제공하며, QUBO의 경우 중심화/스케일링 또는 NGD 스타일의 사전조건화(preconditioning)가 곡률의 병리적 특성을 완화합니다. 이러한 결과는 표현 방식이 볼츠만 머신의 정보 기하학 및 유한 시간 학습 역학을 어떻게 형성하는지 명확히 보여주며, 변수 인코딩 및 전처리를 위한 실질적인 가이드라인을 제공합니다.

arXiv:2604.24083v2cs.AI공통 태그 information geometry

확률 시스템에서 분포 안정성의 정보기하학적 최초 통과 모니터링

Information-Geometric First-Passage Monitoring of Distributional Stability in Stochastic Systems

확률 시스템의 런타임 모니터링은 명시적인 타당성 가정 하에서 반복 검정의 오경보를 제어하면서 공칭 분포 완화와 체제 이탈(regime departure)을 구분해야 합니다. 본 논문은 유계 최초 통과 모니터링 아키텍처에서 상대 엔트로피 소산, 정보기하학, 순차적 추론(sequential inference)을 연결합니다. 가역적 포커-플랑크(Fokker--Planck) 역학의 경우, 불변 밀도에 대한 상대 엔트로피는 비증가합니다. 외생적 강제력 하에서 그 도함수는 공칭 소산과 정보 공간 강제력 항으로 분해됩니다. 런타임 층은 가우시안 윈도우 대리자, 공칭 상대 공분산 수축, 좌표 일관적 상대 정밀도 진단, 혼합 거듭제곱 마틴게일 프로세스로 집계된 무작위화된 등형 순위(randomized conformal ranks)를 사용합니다. 해석적 오른슈타인-울렌벡(Ornstein--Uhlenbeck) 검증을 통해 양의 공칭 쿨백-라이블러(Kullback--Leibler) 증분 0, 3.31 x 10^-6 미만의 강제력 항등식 잔차, 수치적 반올림 수준의 좌표 불변성 오차를 확인했습니다. NSL-KDD에서 모니터는 내부 공칭 스트림에서 0/100의 경보를 기록했으나 공식 테스트-정상 스트림에서는 63/100의 경보를 기록했습니다. 변화 후 탐지율은 기학습 공격 유형에 대해 99.0%, 테스트 전용 공격 유형에 대해 98.53%였으며 중앙값 지연은 1윈도우였습니다. UNSW-NB15에서는 내부 귀무 경보가 0/100인 반면 공식 테스트-정상 경보는 90/100으로 증가했습니다. 변화 후 탐지율은 81.33%였으며 변화 전 경보는 18.67%였습니다. 이러한 평가에서 보정 전달(calibration transport)이 주요 배포 제약 조건으로 드러났습니다. 본 연구에서는 보편적인 벤치마크 우수성, 인과 추론 또는 물리적 일 해석을 주장하지 않습니다.

arXiv:2607.20578v1cs.LG공통 태그 information geometry

Fisher 너비: 국소 학습 기하와 이방성 복원

Fisher Widths: Local Learning Geometry and Anisotropic Recovery

통계적 다양체(statistical manifold) 위에서 가우시안 너비(Gaussian-width) 복잡도를 두 함수형 쌍을 통해 연구한다: Fisher 계량(Fisher metric)에 의해 유도되는 원시(primal) Fisher 너비 $w_G(T) = w(G^{1/2}T)$, 그리고 역 Fisher 계량(inverse Fisher metric)에 의해 유도되는 역-Fisher 너비 $w_{G^{-1}}(T) = w(G^{-1/2}T)$. 두 너비는 상보적인 통계적 역할을 한다. 학습 측면에서 Fisher 너비는 Fisher 정보에 의해 유도된 기하에서 국소 매개변수 변동의 크기를 측정한다. Fisher-정규 손실(Fisher-regular losses)에 대해, 충분히 작은 Fisher 볼(Fisher balls) 위에서 척도 \(w_G(H_r)/\sqrt n\)이 달성됨을 증명한다. 복원 측면에서 역-Fisher 너비는 역 Fisher 정보에 의해 공분산이 결정되는 이방성 가우시안 측정의 효과를 포착한다. 희소 복원(sparse recovery)의 경우, 결과 기하는 희소성뿐만 아니라 Fisher 스펙트럼에서 활성 좌표(active coordinates)의 위치에도 의존한다. 우리는 해당 통계 차원(statistical dimension)에 대한 양측 추정(two-sided estimate)을 얻으며, 지지(support) 민감 복원 추정과 서로 다른 곡률 프로파일(curvature profiles)을 가진 지지들의 자연스러운 순서(ordering)를 함께 제시한다. 마지막으로, 원시 Fisher 너비와 역-Fisher 너비 사이의 날카로운 관계를 확립한다. 임의의 공통 컴팩트 좌표 집합 $T$에 대해, 다음을 만족한다: \[ w_G(T)w_{G^{-1}}(T)\geq w(T)^2. \] 따라서 Fisher 이방성(anisotropy)은 한 기하에서 다른 기하로 복잡도를 전달할 수 있지만, 유클리드 척도(Euclidean scale)에 상대적으로 두 너비를 모두 줄일 수는 없다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.