본 연구는 매니폴드들이 서로 교차할 수 있는 다중 매니폴드 혼합 분포(multi-manifold mixture distribution)로부터 독립적으로 추출된 $n$개의 데이터 점을 이용하여, 텐서화된(tensorized) 밀도 가중(density-weighted) 라플라스-벨트라미(Laplace-Beltrami) 연산자의 고유쌍(eigenpair) 추정 문제를 다룬다. $d$를 매니폴드 구성 요소들 중 가장 큰 고유 차원(intrinsic dimension)으로, $s\geq2$를 샘플링 밀도의 평활성(smoothness)으로 정의한다. 단순(simple)하고 자명하지 않은(nontrivial) 고유쌍에 대해, 텐서화된 라플라스-벨트라미 연산자의 고유값과 고유함수를 근사하는 미니맥스 비율(minimax rate) $n^{-s/(d+2s)}$를 수립하고, 지지 매니폴드(supporting manifold)가 알려져 있을 때 커널 밀도 추정(kernel density estimation)에 기반한 연속체 플러그인(plug-in) 추정량이 동일한 비율을 달성함을 보인다. 더 나아가 매니폴드에 구애받지 않는(manifold-agnostic) 그래프 라플라시안(graph Laplacian) 추정량을 분석하여, 그 고유쌍이 로그 인자(logarithmic factor)를 제외하고 비율 $n^{-1/(2.5d-1)}$로 텐서화된 라플라스-벨트라미 연산자의 고유쌍에 수렴함을 증명하며, 이는 다중 매니폴드 학습(multi-manifold learning)에 대해 기존에 알려진 스펙트럴 수렴 비율을 개선한 것이다. 합성 다중 매니폴드 데이터에 대한 수치 실험은 본 정리들이 보장하는 비율을 뒷받침한다. 이러한 결과들은 다중 매니폴드 스펙트럴 추정의 정보 이론적 난이도를 규명하며, 오라클(oracle) 구성 요소 정보 없이 학습할 때 발생하는 추가적인 비용을 정량화한다.
스펙트럴 임베딩(spectral embedding) 방법은 내재적 저차원 구조를 가진 고차원 데이터셋의 차원 축소 및 군집화에 널리 사용된다. 실제 응용에서 중요한 많은 데이터셋이 회전과 같은 대칭성에 대한 불변성을 보임에도 불구하고, 표준 스펙트럴 임베딩 방법은 이를 고려하지 못하여 대칭 관계로 연관된 데이터 포인트들을 무관한 것으로 취급한다. 이 문제에 대한 우리의 접근법은 스펙트럴 임베딩에 사용되는 친화도 커널(affinity kernel)에 대칭성을 직접 반영하는 것이다. 우리는 콤팩트 리 군(compact Lie group) $G$에 의해 주어지는 대칭성을 지닌 리만 데이터 다양체 $M$의 경우를 분석하며, 적절한 조건 하에서 세 가지 유형의 불변 커널로 구성된 그래프 라플라시안이 몫공간(quotient space) $M/G$ 상의 명시적인 2계 미분 연산자로 점별 수렴(pointwise convergence)함을 증명한다. 우리의 분석은 군의 차원에 따라 유효 차원이 감소하므로 수렴 속도가 향상됨을 시사한다. 우리는 $\mathrm{SO}(2)$ 또는 $\mathrm{SO}(3)$ 대칭성을 가진 데이터셋에서 제안하는 접근법을 검증하고, 무한한 데이터 극한에서도 내재적 기하학을 복원하지 못하는 표준 스펙트럴 임베딩과 달리 $G$-불변 스펙트럴 임베딩은 데이터의 내재적 기하학을 복원함을 보인다.
본 연구에서는 잠재적으로 서로 다른 차원을 갖는 교차 다양체(intersecting manifold)들의 합집합 위에서 그래프 디리클레 에너지(graph Dirichlet energy)의 $Γ$-수렴과 그래프 라플라시안(graph Laplacian)의 스펙트럼 수렴을 다룹니다. 실제 데이터는 종종 서로 다른 내재적 차원을 갖는 부분 또는 클래스로 구성되므로, 본 연구는 머신러닝의 문제들로부터 동기를 부여받았습니다. 중요한 도전 과제는 어떤 머신러닝 방법이 이러한 다양한 차원성에 적응하는지 이해하는 것입니다. 우리는 표준적인 비정규화 그래프 디리클레 에너지와 정규화 그래프 디리클레 에너지를 조사합니다. 비정규화 에너지 및 이와 관련된 그래프 라플라시안은 점근적으로 가장 높은 차원의 다양체 내 변동만을 감지함을 보입니다. 반면에, 정규화 디리클레 에너지는 모든 차원에 동시에 적응하는 다양체들의 합집합 상의 (텐서화된) 디리클레 에너지로 수렴함을 증명합니다. 또한 관련된 스펙트럼 수렴을 규명하고 우리의 발견을 설명하기 위한 몇 가지 수치 실험을 제시합니다.
셀프 어텐션(self-attention)은 현대 시퀀스 모델에서 널리 쓰이는 기본 연산이지만, 연산자 수준의 기하학적 특성은 아직 부분적으로만 이해되고 있다. 본 연구에서는 토큰 시퀀스를 토큰-위치 그래프 위의 벡터 필드로 보고, 어텐션을 연결 워크(connection walk)로 해석한다. 즉, 메시지는 비음수 워크 행렬에 의해 집계되는 동시에 각 에지를 따라 학습된 선형 맵으로 전달된다. 이 프레임워크 내에서, 단일 헤드 어텐션(SHA)이 정확히 일정한 전달(transport)을 가진 연결 전파(connection propagation) 단계임을, 그리고 다중 헤드 어텐션(MHA)이 정확히 단일 에지 의존적 연결 워크이며 그 유효 전달이 헤드별 전달의 어텐션 가중 혼합임을 증명한다. 또한 대응하는 생성자(generator)가 랜덤 워크 연결 라플라시안(random-walk connection Laplacian)으로 축소되는 조건을 명확히 하고, 확률성, 가역성, 계량 호환 전달의 역할을 강조한다. 실험적으로, 다양한 규모(124M에서 8B까지) 및 구조(인코더/디코더)에 걸쳐 학습된 트랜스포머들이 우리 이론과 일관된 기하학적 구조를 보임을 확인한다. 구체적으로, 유효 어텐션 그래프는 더 깊은 층에서 안정적인 기하학적 연산자로 수렴하고, 학습된 전달은 근사 스케일된 등거리 변환(scaled isometry)으로 자기 조직화되며, 두 현상 모두 규모가 커질수록 일관되게 강화된다. 전반적으로, 본 논문은 셀프 어텐션을 고전적 기하학적 연산자와 연결하는 정밀한 연결 워크 형식화를 제공하고, 기하학적 관점에서 트랜스포머 모델을 분석하기 위한 연산자 수준 도구들을 제시한다.
매끄러운 대칭 발산(symmetric divergence) $D$를 이용해 구성한 그래프 라플라시안의 점별 수렴(pointwise convergence)을 증명하기 위해, $D$와 측지 거리(geodesic distance) 제곱 사이의 오차가 4차 항으로 제한됨을 보인다. 이 결과를 Sinkhorn 발산으로 매개변수화된 확률 측도 족에 적용하여, 분자 형태 분석 등 응용 분야에서의 다양체 학습(manifold learning) 알고리즘 분석의 이론적 기반을 제공한다.
그래프 라플라시안(graph Laplacian)에 기반한 그래프 신경망 아키텍처는 라플라스-벨트라미 연산자(Laplace-Beltrami operator)를 근사하므로, 그 적용이 등방성 연산자로 제한됩니다. 라플라스-벨트라미 연산자에 대한 비선형 대안으로, 우리는 다양체(manifold)에서 샘플링된 포인트 클라우드(point cloud)에 대한 핀슬러 라플라시안(Finsler Laplacian)의 추정치를 고려합니다. 우리는 점 샘플의 수가 증가함에 따라 이러한 이산 추정치들이 다양체 상의 실제 연산자로 수렴함을 증명합니다. 더 나아가, 우리는 이 연산자가 그래프 신경망 층으로 표현될 수 있음을 보이며, 이를 사용하여 핀슬러 기하학(Finsler geometry)을 표현하도록 제약된 핀슬러 그래프 신경망 계열을 정의합니다. 우리는 핀슬러 그래프 신경망이 실제로 비선형 확산 방정식(nonlinear diffusion equations)의 기저에 있는 기하학을 복원함을 보여줍니다.
마르코프 결정 과정(MDPs)에서 압축된 상태 표현을 학습하는 것은 대규모 강화학습(RL) 문제의 차원의 저주를 해결하는 데 필수적인 것으로 입증되었습니다. 기존의 이론적 접근법들은 상태 표현을 상태 그래프 라플라시안 고유벡터의 선형 결합으로 구성하여 MDP에 대한 구조적 사전 지식을 활용합니다. 전이 그래프를 알 수 없거나 상태 공간이 너무 커서 다루기 힘든 경우, 그래프 스펙트럼 특징은 샘플 궤적을 통해 직접 추정할 수 있습니다. 본 연구에서는 학습된 스펙트럼 특징을 사용한 선형 가치 함수 근사의 근사 오차에 대한 상한을 증명합니다. 우리는 이 오차가 상태 그래프의 대수적 연결성에 따라 어떻게 스케일링되는지 보여주며, 이를 통해 근사 품질을 MDP의 위상적 구조와 연결합니다. 또한, 우리는 고유벡터 추정 자체에서 발생하는 오차를 추가로 한정하여, 표현 학습 파이프라인 전반에 걸친 엔드-투-엔드 오차 분해를 이끌어냅니다. 추가로, 강화학습 설정에 대한 우리의 라플라시안 연산자 표현은 기존의 것과 동등하지만, 문헌에서 발견되는 몇 가지 일반적인 오해를 방지합니다. 우리의 결과는 유도된 전이 커널의 대칭성에 대한 가정 없이 일반적인(비균일) 정책에 대해 성립합니다. 우리는 그리드월드 환경에서의 수치 시뮬레이션을 통해 이론적 발견을 검증합니다.