본 연구는 매니폴드들이 서로 교차할 수 있는 다중 매니폴드 혼합 분포(multi-manifold mixture distribution)로부터 독립적으로 추출된 $n$개의 데이터 점을 이용하여, 텐서화된(tensorized) 밀도 가중(density-weighted) 라플라스-벨트라미(Laplace-Beltrami) 연산자의 고유쌍(eigenpair) 추정 문제를 다룬다. $d$를 매니폴드 구성 요소들 중 가장 큰 고유 차원(intrinsic dimension)으로, $s\geq2$를 샘플링 밀도의 평활성(smoothness)으로 정의한다. 단순(simple)하고 자명하지 않은(nontrivial) 고유쌍에 대해, 텐서화된 라플라스-벨트라미 연산자의 고유값과 고유함수를 근사하는 미니맥스 비율(minimax rate) $n^{-s/(d+2s)}$를 수립하고, 지지 매니폴드(supporting manifold)가 알려져 있을 때 커널 밀도 추정(kernel density estimation)에 기반한 연속체 플러그인(plug-in) 추정량이 동일한 비율을 달성함을 보인다. 더 나아가 매니폴드에 구애받지 않는(manifold-agnostic) 그래프 라플라시안(graph Laplacian) 추정량을 분석하여, 그 고유쌍이 로그 인자(logarithmic factor)를 제외하고 비율 $n^{-1/(2.5d-1)}$로 텐서화된 라플라스-벨트라미 연산자의 고유쌍에 수렴함을 증명하며, 이는 다중 매니폴드 학습(multi-manifold learning)에 대해 기존에 알려진 스펙트럴 수렴 비율을 개선한 것이다. 합성 다중 매니폴드 데이터에 대한 수치 실험은 본 정리들이 보장하는 비율을 뒷받침한다. 이러한 결과들은 다중 매니폴드 스펙트럴 추정의 정보 이론적 난이도를 규명하며, 오라클(oracle) 구성 요소 정보 없이 학습할 때 발생하는 추가적인 비용을 정량화한다.
본 연구에서는 잠재적으로 서로 다른 차원을 갖는 교차 다양체(intersecting manifold)들의 합집합 위에서 그래프 디리클레 에너지(graph Dirichlet energy)의 $Γ$-수렴과 그래프 라플라시안(graph Laplacian)의 스펙트럼 수렴을 다룹니다. 실제 데이터는 종종 서로 다른 내재적 차원을 갖는 부분 또는 클래스로 구성되므로, 본 연구는 머신러닝의 문제들로부터 동기를 부여받았습니다. 중요한 도전 과제는 어떤 머신러닝 방법이 이러한 다양한 차원성에 적응하는지 이해하는 것입니다. 우리는 표준적인 비정규화 그래프 디리클레 에너지와 정규화 그래프 디리클레 에너지를 조사합니다. 비정규화 에너지 및 이와 관련된 그래프 라플라시안은 점근적으로 가장 높은 차원의 다양체 내 변동만을 감지함을 보입니다. 반면에, 정규화 디리클레 에너지는 모든 차원에 동시에 적응하는 다양체들의 합집합 상의 (텐서화된) 디리클레 에너지로 수렴함을 증명합니다. 또한 관련된 스펙트럼 수렴을 규명하고 우리의 발견을 설명하기 위한 몇 가지 수치 실험을 제시합니다.
포인트 클라우드 노이즈 제거는 본질적으로 기하학적 복원 과제로, 노이즈가 있는 이산 ambient-space 샘플로부터 R^3에 임베드된 매끄러운 2차원 리만 매니폴드의 고유 구조를 재구성하는 것을 목표로 한다. 기하학적 표현 학습에서 현대의 매니폴드 인식 인코더와 생성적 수송(transport) 모델이 눈부신 진전을 이뤘음에도, 근본적인 목표-기하학 불일치는 여전히 충분히 탐구되지 않았다. 이론적으로, 우리는 이러한 불일치된 결합이 기하학적 그래디언트 간섭을 유발하며, 상충하는 최적화 목표가 구조적 열화와 포인트 군집화를 초래함을 확인했다. 우리는 법선(fitting) 성분과 접선(distribution) 성분을 분리함으로써 최적화 궤적을 재구성하는 리만 직교 분리 정규화(RODR)를 제안한다. 벡터-어텐션 및 엔트로피 인식 적응형 전략의 안내 하에, RODR은 샘플링 균일성을 유지하면서 고충실도 기하학적 세부를 효과적으로 보존한다. 실험 결과 RODR은 최신(state-of-the-art) 베이스라인에 필적하는 성능을 달성하며, 분포 규칙성의 개선과 국소적 응집의 효과적 감소를 시사한다. 본 연구는 포인트 클라우드 처리에서 분리된 기하학적 최적화를 위한 범용적이고 해석 가능한 프레임워크를 제시한다.
다양체 가설(manifold hypothesis)에 기반하여 고차원 데이터의 내재 기하 구조를 혼합 VAE로 학습한 뒤, 샘플링-중요도-재샘플링(SIR) 절차와 잠재 공간의 결합 확산 모델(diffusion model)을 활용해 결측 데이터를 대체하는 모델 기반 방법을 제안한다. 제안 방법은 기하 구조를 보존하면서 경쟁력 있는 RMSE와 Wasserstein 거리를 달성하고, 대체값의 불확실성 정량화 및 즉석 대체(on-the-fly imputation)를 지원한다.
기존 생성 모델들은 평탄한 유클리드 공간에서 데이터 분포를 학습한다. 그러나 실세계의 대부분의 데이터는 고차원 유클리드 공간에 내재된 다양체(manifold)이다. 이에 우리는 공기역학 분야의 데이터 생성을 위한 내재 기하학 기반 생성적 적대 신경망(IG-GAN)을 제안한다. IG-GAN의 생성자는 공기역학 데이터를 베지에 곡면(Bézier surfaces)으로 구성된 조각별 매끄러운 다양체로 표현하며, 각 베지에 곡면의 계수를 학습하여 복수의 베지에 곡면을 자동으로 매끄러운 다양체로 결합한다. IG-GAN의 판별자는 방사 기저 함수(RBF) 기반 판별자(RBF-D)이다. 실험 결과, IG-GAN은 세 가지 베이스라인 대비 더 낮은 예측 평균 제곱 오차(MSE)를 달성하였다. 구체적으로, Burgers' equation 데이터셋에서 IG-GAN은 최신 기법인 SSL-트랜스포머 대비 속도 u의 예측 MSE를 97.41% 감소시켰다. 또한 ONERA M6 항공기 데이터셋에서 IG-GAN은 SSL-트랜스포머 대비 9개 공기역학 계수의 전체 MSE를 82.95% 감소시켰다.
많은 기하학적 통계 및 다양체 학습(manifold learning) 파이프라인은 접선 벡터나 로컬 프레임과 같은 관측값을 일상적으로 생성하는데, 이들의 자연스러운 공간은 단일 공유 벡터 공간이 아닌 기저 다양체의 서로 다른 점에 부착된 가변적인 파이버(fiber) 패밀리다. 경험적 평균을 구하려면 이러한 관측값을 공통 기준 파이버로 이동(transport)해야 하며, 이 과정에서 고전적 집중 이론에는 존재하지 않는 곡률 및 홀로노미(holonomy) 효과가 발생한다. 우리는 이러한 이동된 경험적 평균에 대한 비점근적(non-asymptotic) 집중 이론을 개발하고, 정밀한 힐베르트 공간(Hilbert space) 부등식을 통해 유한 표본·차원 무관 Hoeffding형 및 Bernstein형 경계를 도출한다. 기준점까지의 최단 경로가 유일하지 않을 경우, 이동은 경로 의존적이 되어 결정론적 홀로노미 바이어스를 유발한다. 우리는 번들 곡률과 루프 기하학을 통해 이 바이어스를 분리하고 정량화하며, 원형 구의 접선 번들(tangent bundle)에 대한 정밀한 폐형식(closed-form) 공식을 제시한다. 도출된 바이어스-분산 분해는 표본 크기 $n$에 대해 고전적인 $n^{-1/2}$ 속도로 감소하는 확률적 변동을, 어떠한 추가 데이터로도 제거할 수 없는 곡률 기반 오차 하한과 분리한다. 미니맥스(minimax) 하한은 두 항 모두 불가피함을 확인한다. 나아가 헤비테일(heavy tail) 분포 하에서 최적 수렴율을 달성하는 강건한 평균의 중앙값(median-of-means) 추정량과 기준 파이버에서의 중심 극한 정리를 확립한다. 구(sphere)에서의 제어된 실험이 모든 이론적 예측을 검증한다.
매끄러운 대칭 발산(symmetric divergence) $D$를 이용해 구성한 그래프 라플라시안의 점별 수렴(pointwise convergence)을 증명하기 위해, $D$와 측지 거리(geodesic distance) 제곱 사이의 오차가 4차 항으로 제한됨을 보인다. 이 결과를 Sinkhorn 발산으로 매개변수화된 확률 측도 족에 적용하여, 분자 형태 분석 등 응용 분야에서의 다양체 학습(manifold learning) 알고리즘 분석의 이론적 기반을 제공한다.
최대 엔트로피 랜덤 워크(MERW)를 기반으로 데이터 그래프에서 측지 기하학을 복원하는 매니폴드 학습 방법 EntroPath를 제안하며, 단일 경로 대신 k-스텝 경로 전체 앙상블로부터 자유 에너지 비유사도를 구성해 표준 랜덤 워크의 밀도 편향과 최단 경로 방법의 지름길 엣지 취약성을 동시에 극복한다. 합성 매니폴드와 단일세포 벤치마크 실험에서 PHATE, Isomap, 확산 맵 등 기존 방법을 일관되게 능가하며, 특히 비균일 샘플링 밀도와 분기 궤적을 가진 데이터에서 측지 기하학 보존 성능이 두드러진다.
MANCE는 신경망 표현(representation)에서 특정 개념을 제거할 때, 자연 입력이 저차원 다양체(manifold)에 집중된다는 다양체 제약 가설(MCH)을 기반으로 개념 소거(concept erasure) 업데이트를 해당 다양체에 투영함으로써 다른 개념의 손상을 최소화한다. 13개 언어 모델과 CelebA-CLIP 등 119가지 설정에서 평가한 결과, MANCE++가 비선형 개념 소거에서 최첨단 성능을 달성하며 누출-외과적 정밀도(leakage-surgicality) 트레이드오프를 크게 개선함을 보였다.
고차원 주변 거리 행렬만으로 저차원 잠재 부분 다양체를 식별하는 좌표 독립적 추론 방법인 I-BBS를 제안하며, 무작위 거리 행렬 이론(RMT)의 정수 안정적 다중선(multiplet) 특징을 활용해 고차원 벡터 공간에 접근하지 않고도 잠재 기하 구조와 노이즈 모델을 단일 거리 행렬에서 복원한다. 합성 구면 $S^1$, $S^2$, $S^3$ 실험에서 제안한 정수 특징이 연속 스펙트럼 기울기보다 노이즈에 훨씬 안정적임을 보이며, 신경망 표현 및 학습 역학 분석으로의 응용 가능성을 시사한다.
우리는 데이터 분포가 저차원 매니폴드(manifold) 위에 지지되고 스코어(score)가 랜덤 특징 신경망(random feature neural network)으로 매개변수화될 때, 확산 모델(diffusion model)의 학습 과제인 노이즈 제거 스코어 매칭(denoising score matching)의 이론적 동작을 연구한다. 우리는 고차원 극한에서 테스트 오차, 훈련 오차, 스코어 오차에 대한 점근적으로 정확한 표현식을 유도한다. 분석 결과, 선형 매니폴드의 경우 스코어 함수를 학습하는 데 필요한 샘플 복잡도(sample complexity)가 주변 차원(ambient dimension)이 아닌 매니폴드의 내재적 차원(intrinsic dimension)에 선형적으로 비례하여 증가함을 밝힌다. 다소 놀랍게도, 비선형 매니폴드에서는 저차원 구조의 이점이 감소하기 시작한다. 이러한 결과는 확산 모델이 구조화된 데이터로부터 이점을 얻을 수 있음을 나타내지만, 구조의 구체적인 유형에 대한 의존성은 미묘하고 복잡하다.
양자 순수 상태 앙상블은 복소 사영 공간(complex projective space) 위에 존재하므로, 평탄한 유클리드 생성 모델링과 기하학적으로 불일치한다. 본 연구에서는 내재적 플로우 매칭(Intrinsic Flow Matching, IFM)을 소개한다. IFM은 $\mathbb{CP}^{d-1}$ 위의 결정론적 전송 프레임워크로, Pancharatnam 위상 정렬 조건부 경로를 이용하여 접선 속도장(tangent velocity field)을 학습한다. IFM은 로컬 스코어 교사와 역시간 확률적 샘플링을 다양체 확률 흐름으로 대체하며, 수평 매개변수화(horizontal parameterization)를 통해 잉여 주변 방향을 제거한다. IFM 목적함수가 유도된 주변 전송장(marginal transport field)을 복원하고, 결정론적 사영 앙상블 흐름을 표현하며, 종점 및 안정성 보장을 제공함을 이론적으로 증명한다. 실험적으로, IFM은 고큐비트, 다중모달, 스핀 결맞음(spin-coherent), 물리학 영감, 진폭 인코딩 MNIST 이미지-벡터 벤치마크 전반에 걸쳐 주변 유클리드 플로우 매칭 대비 성능이 향상되는 경우가 많으며, 고차원 및 결맞음 민감 작업에서 가장 두드러진 향상을 보이나 모든 지표에서 일관되게 향상되지는 않는다.
의료 영상 코호트의 비지도 표현 학습은 전문가 라벨 없이도 임상적으로 의미 있는 프로토타입을 드러낼 수 있으며, 이러한 라벨은 종종 노이즈가 많고 실제 병리적 이질성을 포착하지 못하는 문제가 있습니다. 그러나 기존 심층 잠재 변수 모델은 유클리드 평균화를 통해 가우시안 혼합 사전분포를 추정하기 때문에, 곡선 데이터 매니폴드에서 벗어난 프로토타입을 생성하며 하위 집단의 수가 증가함에 따라 퇴보하는 문제가 있습니다. 본 연구에서는 기하학적 인식이 가능한 기댓값-최대화(EM) 알고리즘에 기반한 매니폴드 앵커링(manifold-anchored) 변분 프레임워크를 제안합니다. 이 프레임워크의 M-단계(M-step)는 히트 커널 가중치가 부여된 잠재 그래프에서 확산 중심성이 가장 높은 그래프 메도이드(medoid)를 각 하위 집단의 프로토타입으로 선택하여, 모든 프로토타입이 매니폴드 상에 위치하도록 보장합니다. 디리클레 에너지 정규화기는 잠재 공간의 기하학적 평활성을 강제하며, 하위 집단별 불확실성 점수는 라벨 없는 품질 평가를 가능하게 합니다. 매니폴드 앵커링 EM은 표준 EM을 확장한 것으로, 이 설정을 넘어 다른 잠재 변수 모델에도 즉시 적용할 수 있는 범용 기하학적 도구입니다. 심장 반흔 및 뇌 MRI 벤치마크에서 본 프레임워크는 비교 대상 모든 방법 중 최고의 정확도를 달성했으며, 지금까지 보고된 것 중 가장 선명한 프로토타입을 생성했습니다. 또한 모든 베이스라인이 퇴보하는 하위 집단 수가 많은 상황에서도 안정성을 유지했습니다.
그래프 라플라시안(graph Laplacian)에 기반한 그래프 신경망 아키텍처는 라플라스-벨트라미 연산자(Laplace-Beltrami operator)를 근사하므로, 그 적용이 등방성 연산자로 제한됩니다. 라플라스-벨트라미 연산자에 대한 비선형 대안으로, 우리는 다양체(manifold)에서 샘플링된 포인트 클라우드(point cloud)에 대한 핀슬러 라플라시안(Finsler Laplacian)의 추정치를 고려합니다. 우리는 점 샘플의 수가 증가함에 따라 이러한 이산 추정치들이 다양체 상의 실제 연산자로 수렴함을 증명합니다. 더 나아가, 우리는 이 연산자가 그래프 신경망 층으로 표현될 수 있음을 보이며, 이를 사용하여 핀슬러 기하학(Finsler geometry)을 표현하도록 제약된 핀슬러 그래프 신경망 계열을 정의합니다. 우리는 핀슬러 그래프 신경망이 실제로 비선형 확산 방정식(nonlinear diffusion equations)의 기저에 있는 기하학을 복원함을 보여줍니다.
변이형 오토인코더(VAE)는 고차원 데이터의 저차원 잠재 표현을 학습합니다. 데이터가 비유클리드 위상(non-Euclidean topology)을 가진 매니폴드(manifold) 위에 존재할 때, 표준 가우시안 사전 분포(prior)는 위상 불일치(topological mismatch)를 야기하여 재구성 품질을 저하시키고 충실한 표현을 방해합니다. 본 연구에서는 곱 피복 공간(product covering space)을 허용하는 모든 매니폴드에 대해 이러한 불일치를 해결하는 건설적인 수학적 프레임워크를 제시합니다. 해당 매니폴드는 기본 인자(원, 구간, 또는 선)들의 곱으로 표현되거나 유한 대칭 그룹에 의한 그러한 곱의 몫(quotient)으로 표현될 수 있습니다. 이 클래스에는 원기둥, 토러스(tori), 뫼비우스 띠, 클라인 병, 실수 사영 공간 등이 포함됩니다. 기본 인자에 대한 인자화된 분포(factorized distributions)는 닫힌 형식(closed-form)의 결합되지 않은 KL 발산을 갖는 곱 위상을 산출하므로, 학습의 효율성을 유지하면서 각 잠재 인자를 독립적으로 형성할 수 있습니다. 우리는 주기적, 유계, 무계 지지 집합(supports)에 대해 재매개변수화 가능한 인코더-사전 쌍을 정리하고, 표준 신경망이 부드러운 기울기를 갖는 비유클리드 파라미터를 출력할 수 있도록 하는 좌표 변환을 제공합니다. 몫 매니폴드(quotient manifolds)의 경우, 디코더는 피복 공간 좌표의 그룹 불변(group-invariant) 특징을 수신하므로 식별된 점들이 동일한 출력을 생성합니다. 앵커 제약 조건(anchor constraints)은 데이터에 상대적인 좌표계를 고정하거나 부드러운 위상 구멍(topological holes)을 생성합니다. 합성 매니폴드와 실제 이미지 데이터셋(회전 및 순환 이동된 MNIST)에 대한 실험을 통해, 위상 일치 사전 분포(topology-matched prior)가 KL 정규화를 데이터 매니폴드와 정렬시킴을 확인했습니다. 그 결과 생성된 위상 인지 모델(topology-aware models)은 모든 실제적으로 관련 있는 정규화 강도에서 가우시안 기준선을 능가하는 성능을 보였습니다. 코드는 https://github.com/JvHulst/VAE-Topology에서 확인할 수 있습니다.