PyTorchKR Papers

업데이트된 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2608.19584v5cs.LG

복소 신경망 하강을 위한 케일러 지형과 보장, 그리고 칼라비-야우 다양체의 탐색 및 파괴

K\"ahler landscapes for complex neural network descents and guarantees including a search and destroy of the Calabi-Yau manifold

우리는 복소 파라미터를 갖는 네트워크의 지형을 연구한다. 우리의 접근은 파라미터에 대한 정보 이론적 다양체 관점과 고전적 최적화 보장에 의해 동기가 부여되며, 돌보 점근론 등 복소 기하학적 다양체의 성질도 아우른다. 하강 경로는 로그 우도 퍼텐셜에 대한 비르팅거 헤시안을 통한 교차 엔트로피 하에서 케일러 정보 계량을 허용한다. 우리는 역계량으로 스케일된 미분된 손실에 따라 하강하므로 하강 경로는 정칙 접다발에 머문다. 우리는 불량한 곡률 조건(또는 그 결여)을 통해 이론적 보장을 훼손하는 정보 다양체를 강조한다. 우리는 칼라비 추측의 위상적 요건을 끌어오기보다 기하학적으로 정의되도록, 전역 퍼텐셜이 있는 비콤팩트 설정에서 특히 칼라비-야우 계량에 초점을 둔다. 비콤팩트 설정에서는 배경에 대한 계량 행렬식을 다중조화 함수 또는 실함수로 쓸 수 있다. 야우의 리우빌 정리를 사용하여, 우리는 비자명한 배경 상호작용 하에서의 작은 고유값 폭발 효과, 자기사상 상수의 기하학적 불변성, 그리고 거의 저순위인 가정을 얻는다. 경험적 설정에서는 리치 평탄 계량이 형성되지 않지만, 큰 고유값은 국소 조건일 수 있으며 리치 퍼텐셜의 하한 덕분에 일반화된 케일러 경우에서도 열린 집합에서 경험적으로 성립할 수 있다. 더욱이 음의 곡률, 특히 단면 곡률이 손실 지형을 교란한다는 점이 발견되었으므로, 우리는 이를 확장하여 음의 정부호 리치 곡률과의 연관성을 도출한다. 우리의 논증은 주로 기하학적 양상을 통해 전개되지만, 초기화 시점의 점근론, 그리고 소멸하는 리치 곡률 및 음의 리치 곡률 하에서 신경망 보장의 실패 모드와의 연결 등 딥러닝 이론에 뿌리를 둔다.

arXiv:2602.07834v3cs.LG

기계학습은 수치적 칼라비-야우 기하로부터 무엇을 학습하는가? 페르마 5차 곡면에 대한 통제 연구

What Does Machine Learning Learn from Numerical Calabi--Yau Geometry? A Controlled Study on the Fermat Quintic

본 연구는 페르마 5차 곡면에서 수치적 계량 오차에 대한 다항 회귀를 연구한다. 알려진 초곡면 부피비 항등식은 유도된 Fubini--Study 계량에 대한 정확한 기준 $C-\log p_4$를 제공하며, 여기서 $p_4=\sum_i|z_i|^8$이고 단위 정규화된 동차 좌표에서 계산된다. 유한 페르마 대칭성을 보존하면서 차수 $6,8,10,12$에서 대수적 계량을 최적화한 뒤, 남은 로그 부피형식 오차를 적합한다. 회귀 분할과 부트스트랩 추출은 표집된 각 직선의 다섯 근을 함께 유지하며, 비교되는 모든 교사 모델은 공통 점 구름에서 평가된다. 웜 스타트 복제 상관은 $k=8,10,12$에서 $0.9997$을 초과한다. 모든 차수에서, 원천에서 유도된 모드는 사후 4차 점검을 포함하여 대상 특화 적합에는 미치지 못하지만, 시험한 라이브러리에서는 동일 계수의 무작위 생성 공간보다 우수하다. 서로 독립적인 두 무작위 불변 $k=10$ 시작점의 잔차 상관은 $0.768$--$0.803$인 반면, 적합된 3차 모드의 상관은 $0.979$--$0.983$이며 보정된 시작점 간 예측에서 유용성을 유지한다. 그러나 이들의 적합된 모드는 주된 웜 스타트 교사의 모드와는 잘 일치하지 않는다. 위상에 민감한 불변량 $J_7$을 추가하면 일곱 개의 웜 스타트 교사 모두에서 3차 모듈러스 전용 라이브러리보다 예측이 향상된다. 이득은 라이브러리에 의존한다. $k=12$에서 4차 모듈러스 전용 적합은 잔차 분산의 약 97--98\%를 설명하며, 추가된 $J_7$ 이득에 대한 조건부 구간은 두 척도 모두에서 두 복제본 모두 0을 포함한다. 따라서 이 이득은 위상 독립성도 환원 불가능한 위상 필요성도 입증하지 않으며, 고정 기준선 증강은 이러한 구분을 보존한다. 적합된 성분은 수치적 절차에 의존하며, 전역 최적성과 보편적인 유한 차수 보정은 확립되지 않은 채로 남아 있다.

arXiv:2609.20159v2math.DG

딥러닝에서의 특수 라그랑주 원뿔

Special Lagrangian cones in Deep Learning

우리는 Harvey와 Lawson의 원뿔을 행렬로 일반화한 것을 도입하고, 이것이 완전 특수 라그랑주 다양체(exact special Lagrangian manifold)임을 증명한다. 나아가 이것이 딥러닝에서 나타나는 균형 다양체(balanced manifold)를 엽층화(foliate)하는 완전 특수 라그랑주 다양체들의 족에 속함을 보인다.

arXiv:2603.28764v2cs.LG

리만 다양체 및 통계 다양체상의 신경 표현을 위한 기하 인식 유사도 척도

Geometry-aware similarity metrics for neural representations on Riemannian and statistical manifolds

중심화 커널 정렬(CKA)이나 표현 유사도 분석(RSA)과 같은 유사도 척도는 서로 다른 신경망이 동일한 과제를 해결하기 위해 사용하는 표현 기하를 비교하는 데 널리 쓰인다. 그러나 기존 방법은 표현의 내재적 기하가 아니라 상태 공간에서의 외재적 기하를 비교하기 때문에, 근본적으로 다른 계산들 사이의 미묘하지만 중요한 차이를 포착하지 못할 수 있다. 본 연구는 다양체 가설 하에서 신경 표현의 내재적 기하를 비교하기 위해 리만 기하학의 도구를 활용하는 새로운 방법인 메트릭 유사도 분석(MSA)을 제안한다. MSA를 통해 (i) 풍부한 학습 체제와 게으른 학습 체제에서 심층 신경망의 신경 계산을 분리하고, (ii) 순환 신경망과 상태 공간 모델의 동역학을 비교하며, (iii) 확산 모델의 통계 다양체를 조사할 수 있음을 보인다. 전반적으로 본 연구는 내재적 기하를 대조함으로써 신경 계산의 메커니즘을 이해하기 위한, 수학적 근거를 갖추고 폭넓게 적용 가능한 프레임워크를 제시한다.

arXiv:2511.13025v2stat.ML

잡음이 있는 관측으로부터 측지 거리 복원하기

Recovering Geodesic Distances from Noisy Observations

$(M,d,\mu)$를 (다양체와 같은) 좋은 측지 확률 공간, $X=\{x_i\}_{i\in [N]} \subset M$를 유한한 $\mu$-i.i.d. 표본이라 하자. 잡음이 섞인 거리 확률변수 $d'(x_i,x_j)$를 관측한다고 가정한다. 언제 참 거리를 작은 가법 오차로 복원할 수 있는가? 이 질문은 잠재 공간 그래프 모형과 경계값 역문제라는 서로 다른 두 분야에서 관심을 받아 왔다. 우리는 먼저 $N \asymp \epsilon^{-2d-2}|\log\epsilon|$로 두고 실행 시간 $O(N^{2.5+o_d (1)})$를 사용하면, 미지의 증가 쌍립시츠 함수 $F$에 대해 $\mathbb{E} d'(x_i, x_j) = F(d(x_i,x_j))$를 가정하고 $d'(x_i,x_j)$가 부분가우시안 노름으로 유계이기만 하면 분포가 임의로 이질적이어도 되는 조건에서, $X$의 모든 거리를 높은 확률로 가법 오차 $O(\epsilon|\log\epsilon|)$ 이내로 복원할 수 있음을 보인다. 이는 $F$가 알려져 있어야 하고 $d'(x_i, x_j)$의 분포에 엄격한 가정을 두었던 기존 연구를 일반화한다. 이러한 일반화를 달성하기 위해 $F$를 학습하는 새로운 '자 만들기(ruler-building)' 절차가 필요했다. 우리는 결과를 잡음 섞인 거리에 대한 접근을 무작위로 잃는 결측 데이터 경우로 확장한다. 두 번째 결과는 첫 번째 결과의 아이디어를 사용하여 부분 관측 가능성 경우를 다룬다. 즉 $X = Y \cup Z$이며, $Z$는 $M$에서 표집되고 $Y$는 경계값 역문제의 경계에 대한 가정을 모형화하는 가시성 조건을 만족하는 관측자 부분집합에서 표집된다. 이 설정에서 우리는 $|Z| \asymp \epsilon^{-2d-2}|\log\epsilon|$, 관측자 집합 위 확률측도의 부피 증가 성질로 정해지는 $d_\nu$에 대해 $|Y| \asymp \epsilon^{-\max\{d_\nu,4\}}$, 실행 시간 $O(|Z|^3)$로 $Z$의 모든 쌍별 거리를 가법 오차 $O(\epsilon)$ 이내로 복원한다. 이는 우리가 아는 한 잡음 하에서 이러한 관측자/피관측자 분할에 대한 최초의 정량적 보장이며, 경계 데이터에 대한 기존의 안정성 결과를 보완한다.

arXiv:2605.10727v2cs.LG

커널 그래디언트 드리프팅 모델

Kernel-Gradient Drifting Models

우리는 드리프팅 모델의 고정된 유클리드 변위 방향을 커널 자체가 유도하는 방향으로 대체하는 단일 단계 생성 모델링 프레임워크인 커널 그래디언트 드리프팅을 제안한다. 표준 드리프팅은 대규모 사전학습 확산 모델을 증류하지 않고도 빠르고 고품질의 생성을 가능하게 하여 매력적이지만, 현재 그 이론은 주로 드리프트가 평활화된 스코어 매칭과 일치하며 식별 가능한 가우시안 커널에 대해서만 이해되어 있다. 우리의 그래디언트 기반 재정식화는 일반 커널에 대해 이러한 스코어 기반 구조를 드러낸다. 즉 결과적인 드리프트는 커널로 평활화된 데이터 분포와 모델 분포 간의 스코어 차이이며, 이로부터 특성(characteristic) 커널에 대한 식별 가능성과 평활화된 드리프팅 동역학의 평활화 KL 하강 해석을 얻는다. 커널 그래디언트는 본질적인 접벡터이므로, 동일한 구성이 리만 다양체와 확률 심플렉스의 피셔-라오 기하를 통한 이산 데이터로 자연스럽게 확장된다. 구면 지리공간 데이터, 프로모터 DNA, 분자 생성 전반에서 커널 그래디언트 드리프팅은 증류 없이 유클리드 설정을 넘어서는 최고 수준의 단일 단계 생성을 가능하게 한다. 코드는 \href{https://github.com/jcarrascopollo/kgd_thesis}{여기}에서 이용할 수 있다.

arXiv:2607.19305v5cs.LG

Riemannian Deep Learning: Modules, Networks, and Geometries

매니폴드 값 표현(manifold-valued representation)에 대한 심층 신경망(deep neural network)에 대한 관심이 커지고 있지만, 많은 기본 구성 요소는 여전히 특정 매니폴드에 종속되어 있거나, 유클리드 근사에 의존하거나, 비용이 크고 수치적으로 불안정한 기하 연산을 요구한다. 본 학위논문은 재사용 가능한 신경 모듈, 매니폴드 특화 네트워크 아키텍처, 기저 기하학 설계라는 세 가지 상보적 관점에서 리만 심층 학습을 위한 통합 프레임워크를 제시한다. 이는 배치 정규화를 유클리드 공간과 개별 매니폴드에서 리 군(Lie group)과 자이로군(gyrogroup)의 넓은 클래스로 일반화하고, 다항 로지스틱 회귀(multinomial logistic regression)를 유클리드 공간에서 SPD 매니폴드로, 나아가 일반 리만 매니폴드로 확장한다. 또한 쌍곡 공간(hyperbolic space)의 비제약 모델, Busemann 기반 쌍곡 학습, full-rank 상관 행렬을 포함한 여러 중요한 기하 표현을 위한 신경망을 개발한다. 마지막으로 SPD 매니폴드 상의 적응적이고 계산적으로 효율적인 리만 계량을 도입하며, 여기에는 학습 가능한 Log-Euclidean 기하학과 빠르고 안정적인 Cholesky 기반 기하학이 포함된다. 제안된 방법들은 이론적 분석으로 뒷받침되며, 컴퓨터 비전(CV), 신호 처리, 그래프 학습, 유전체학 분야의 수치 실험과 응용을 통해 검증되었다.