A common approach to perform PCA on probability measures is to embed them into a Hilbert space where standard functional PCA techniques apply. While convergence rates for estimating the embedding of a single measure from $m$ samples are well understood, the literature has not addressed the setting involving multiple measures. In this paper, we study PCA in a double asymptotic regime where $n$ probability measures are observed, each through $m$ samples. We derive convergence rates of the form $n^{-1/2} + m^{-\alpha}$ for the empirical covariance operator and the PCA excess risk, where $\alpha>0$ depends on the chosen embedding. This characterizes the relationship between the number $n$ of measures and the number $m$ of samples per measure, revealing a sparse (small $m$) to dense (large $m$) transition in the convergence behavior. Moreover, we prove that the dense-regime rate is minimax optimal for the empirical covariance error. Our numerical experiments validate these theoretical rates and demonstrate that appropriate subsampling preserves PCA accuracy while reducing computational cost.
비팽창 이중 시간 스케일 확률적 근사는 유일한 균형으로의 수축이 아니라, 느린 확률적 Krasnoselskii--Mann(KM) 고정점 반복에 의해 지배된다. 우리는 수축적 빠른 사상(contractive fast map)과 비팽창 축소 느린 사상(non-expansive reduced slow map) 하에서 이 영역을 연구한다. 먼저 유한 수평선 하한을 증명하여, 임의의 주어진 느린 스텝 크기 스케줄 $(β_k)$에 대해 고전적 KM 잔차 스케일 $(\sum_{i<N}β_i(1-β_i))^{-1}$이 해당 비정규화 KM 업데이트에 대해 최악의 경우 sharp함을 보인다. 원시 빠른 추적(fast-tracking) 누출 스케일과 결합하면, 이는 이전에 관찰된 $k^{-1/4+o(1)}$ 최종 반복(last-iterate) 평균제곱 잔차 지수를 설명한다. 그다음 빠른 추적 오차에 대한 1차 의존성을 상쇄하는 잔차 전처리(residual-preconditioned) 느린 오라클을 도입한다. 중첩 Tikhonov-KM 알고리즘에서 보정되지 않은 오라클은 총 샘플 비율 $T^{-1/4+o(1)}$을, 보정된 오라클은 $T^{-1/3+o(1)}$을 달성한다. 이 개선은 모든 내부 루프 샘플을 계산한 뒤 느린 오라클 바이어스를 빠른 오차에 대한 1차에서 2차로 바꾸는 데서 온다. 마지막으로, 중첩 방법의 반복적인 내부 루프 비용이 매끄러운 도함수 오라클 모델에서 회피될 수 있음을 보인다. 빠른 균형과 누출 전처리기(leakage preconditioner)를 모두 온라인으로 추적하는 단일 루프 알고리즘이 반복당 $O(1)$개의 원시 샘플로 $T^{-1/2+o(1)}$을 달성한다.
재생 커널 힐베르트 공간(RKHS)에서 정규화 M-추정(regularized M-estimation)의 통합 이론을 제시하고, 스펙트럴 복잡도(spectral complexity)에 기반한 편향-분산 분해로 다양한 볼록·비볼록 손실(강건 손실 포함) 하에서 추정량의 존재·수치가능성과 선명한 수렴 속도를 증명한다. 텐서 곱 Sobolev 공간에서는 dominating mixed smoothness와 연결된 새로운 수렴률을 도출해 고차원에서 차원의 저주를 완화하는 이유를 설명한다.