PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.02190v3stat.ML

PCA of probability measures: Sparse and Dense sampling regimes

A common approach to perform PCA on probability measures is to embed them into a Hilbert space where standard functional PCA techniques apply. While convergence rates for estimating the embedding of a single measure from $m$ samples are well understood, the literature has not addressed the setting involving multiple measures. In this paper, we study PCA in a double asymptotic regime where $n$ probability measures are observed, each through $m$ samples. We derive convergence rates of the form $n^{-1/2} + m^{-\alpha}$ for the empirical covariance operator and the PCA excess risk, where $\alpha>0$ depends on the chosen embedding. This characterizes the relationship between the number $n$ of measures and the number $m$ of samples per measure, revealing a sparse (small $m$) to dense (large $m$) transition in the convergence behavior. Moreover, we prove that the dense-regime rate is minimax optimal for the empirical covariance error. Our numerical experiments validate these theoretical rates and demonstrate that appropriate subsampling preserves PCA accuracy while reducing computational cost.

arXiv:2607.13414v1stat.ML

비팽창 이중 시간 스케일 확률적 근사: 고정 스케줄 1/4 장벽과 바이어스 보정 가속

Non-Expansive Two-Time-Scale Stochastic Approximation: A Fixed-Schedule One-Quarter Barrier and Bias-Corrected Acceleration

비팽창 이중 시간 스케일 확률적 근사는 유일한 균형으로의 수축이 아니라, 느린 확률적 Krasnoselskii--Mann(KM) 고정점 반복에 의해 지배된다. 우리는 수축적 빠른 사상(contractive fast map)과 비팽창 축소 느린 사상(non-expansive reduced slow map) 하에서 이 영역을 연구한다. 먼저 유한 수평선 하한을 증명하여, 임의의 주어진 느린 스텝 크기 스케줄 $(β_k)$에 대해 고전적 KM 잔차 스케일 $(\sum_{i<N}β_i(1-β_i))^{-1}$이 해당 비정규화 KM 업데이트에 대해 최악의 경우 sharp함을 보인다. 원시 빠른 추적(fast-tracking) 누출 스케일과 결합하면, 이는 이전에 관찰된 $k^{-1/4+o(1)}$ 최종 반복(last-iterate) 평균제곱 잔차 지수를 설명한다. 그다음 빠른 추적 오차에 대한 1차 의존성을 상쇄하는 잔차 전처리(residual-preconditioned) 느린 오라클을 도입한다. 중첩 Tikhonov-KM 알고리즘에서 보정되지 않은 오라클은 총 샘플 비율 $T^{-1/4+o(1)}$을, 보정된 오라클은 $T^{-1/3+o(1)}$을 달성한다. 이 개선은 모든 내부 루프 샘플을 계산한 뒤 느린 오라클 바이어스를 빠른 오차에 대한 1차에서 2차로 바꾸는 데서 온다. 마지막으로, 중첩 방법의 반복적인 내부 루프 비용이 매끄러운 도함수 오라클 모델에서 회피될 수 있음을 보인다. 빠른 균형과 누출 전처리기(leakage preconditioner)를 모두 온라인으로 추적하는 단일 루프 알고리즘이 반복당 $O(1)$개의 원시 샘플로 $T^{-1/2+o(1)}$을 달성한다.

arXiv:2606.22993v1math.ST

재생 커널 힐베르트 공간에서의 일반화된 비모수 회귀: 일관성과 수렴 속도

Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence

재생 커널 힐베르트 공간(RKHS)에서 정규화 M-추정(regularized M-estimation)의 통합 이론을 제시하고, 스펙트럴 복잡도(spectral complexity)에 기반한 편향-분산 분해로 다양한 볼록·비볼록 손실(강건 손실 포함) 하에서 추정량의 존재·수치가능성과 선명한 수렴 속도를 증명한다. 텐서 곱 Sobolev 공간에서는 dominating mixed smoothness와 연결된 새로운 수렴률을 도출해 고차원에서 차원의 저주를 완화하는 이유를 설명한다.