PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.19584v5cs.LG

K\"ahler landscapes for complex neural network descents and guarantees including a search and destroy of the Calabi-Yau manifold

We study landscapes for complex-parameterized networks. Our approach is motivated with an information-theoretic manifold perspective of the parameter and via classical optimization guarantees although of complex geometric variety such as through Dolbeault asymptotics. The descent path admits a K\"ahler information metric under a cross-entropy via the Wirtinger Hessian on the log-likelihood potential. We descend according to a differentiated loss scaled by the inverse metric, so the descent path remains in the holomorphic tangent bundle. We emphasize information manifolds which profane theoretical guarantees via ill-curvature-conditioned, or lack thereof, landscapes. We focus on Calabi-Yau metrics specifically in a non-compact setting with a global potential, so defined geometrically rather than invoking the topological requirements of the Calabi conjecture. In non-compact settings, we can write the metric determinant with respect to a background in terms of a function, pluriharmonic or real. Using Yau's Liouville theorem, we get a small eigenvalue blow-up effect under nontrivial background interaction, geometric invariance of the endomorphism constant, and almost low rank assumptions. In an empirical setting, a Ricci-flat metric will not form, but large eigenvalues can be a local condition and hold empirically on open sets even in generalized K\"ahler cases due to lower bounds on the Ricci potential. Moreover, it has been discovered that negative curvature subverts the loss landscape, specifically sectional curvature, so we expand on this and draw interconnections to negative-definite Ricci curvature. Our arguments primarily exist via geometric modality, although we establish roots in deep learning theory such as through asymptotics at initialization and connections through failure modes of neural network guarantees under vanishing and negative Ricci curvature.

arXiv:2510.13210v2cs.LG

볼츠만 머신 학습에서 이징 및 QUBO 변수 인코딩의 성능 평가

Performance Evaluation of Ising and QUBO Variable Encodings in Boltzmann Machine Learning

본 연구에서는 각 비교 내에서 샘플러, 옵티마이저(optimizer), 학습률 설계를 고정한 통제된 프로토콜 하에 볼츠만 머신 학습(Boltzmann machine learning)을 위한 이징(Ising, {-1, +1}) 및 QUBO({0, 1}) 인코딩을 비교합니다. 피셔 정보 행렬(Fisher Information Matrix, FIM)이 충분통계량의 공분산과 같다는 항등식을 활용하여, 모델 샘플로부터 도출된 경험적 모멘트를 시각화하고 표현에 따른 체계적인 차이를 밝혀냅니다. QUBO는 1차 및 2차 통계량 간에 더 큰 교차항(cross term)을 유발하여 FIM에서 더 많은 작은 고윳값 방향을 생성하고 스펙트럼 엔트로피를 낮춥니다. 이러한 불량 조건(ill-conditioning)은 확률적 경사하강법(SGD) 환경에서 수렴이 더 느려지는 원인을 설명합니다. 대조적으로, FIM 메트릭으로 업데이트 크기를 재조정하는 전체 FIM 자연 경사하강법(NGD)은 인코딩 전반에 걸쳐 유사한 수렴을 달성하는 반면, 대각 FIM 근사는 표현에 따른 차이를 다시 야기할 수 있습니다. 실질적으로 SGD 기반 학습의 경우 이징 인코딩이 더 등방성(isotropic)에 가까운 곡률과 더 빠른 수렴을 제공하며, QUBO의 경우 중심화/스케일링 또는 NGD 스타일의 사전조건화(preconditioning)가 곡률의 병리적 특성을 완화합니다. 이러한 결과는 표현 방식이 볼츠만 머신의 정보 기하학 및 유한 시간 학습 역학을 어떻게 형성하는지 명확히 보여주며, 변수 인코딩 및 전처리를 위한 실질적인 가이드라인을 제공합니다.

arXiv:2607.05866v1cs.LG

Differentially Private Natural Gradient Descent

차분 프라이버시(DP) 학습에서 DP-SGD의 기하학적 맹점(곡률 무시로 인한 비효율적 수렴)을 해결하기 위해, 공개 보조 데이터로 곡률을 추정하고 F⁻¹/²-whitened 공간에서 등방성 DP 연산을 비등방성 자연 경사 업데이트로 변환하는 DP-NGD 프레임워크를 제안한다. 동적 곡률 클램핑으로 학습 안정성을 확보한 DP-NGD는 표준 벤치마크에서 동일 프라이버시 예산 하에 최대 10배의 수렴 가속과 최신 정확도를 달성했다.