arXiv:2611.21254v1 math.ST

차원 무관 스펙트럼 법칙과 스펙트럼 필터의 위험

Dimension-free spectral laws and the risk of spectral filters

Chen Cheng

제출 2026-11-16

저자 비고

arXiv Comments

100 pages, 12 figures

한국어 초록

표본 공분산의 스펙트럼 특성은 고차원 데이터를 다루는 현대 기계학습의 핵심이다. 랜덤 행렬 이론(RMT)은 강력한 도구를 제공하지만, 대부분의 고전적 결과는 $d/n$이 유한한 극한으로 수렴하는 비례 점근을 가정한다. 함수형 데이터 분석과 커널 방법에서는 고정된 무한 차원 힐베르트 공간이 관측값에 더 자연스러운 설정인 경우가 많으며, 이는 비례 점근의 범위를 벗어난다. 이에 따라 대각합 클래스 모집단 공분산 $\Sigma$를 갖는 힐베르트 공간 $\mathcal{H}$의 i.i.d. 관측값 $\boldsymbol{x}_1, \dots, \boldsymbol{x}_n$에 대한 차원 무관 스펙트럼 이론이 필요하다. Cheng과 Montanari(2024)의 차원 무관 릿지 회귀 분석을 토대로, 명시적인 비점근 오차 한계를 갖는 두 가지 결정론적 등가물을 수립한다. 첫째는 표본 그람 행렬의 경험적 스펙트럼 법칙 $\widehat{\mu}_n$을 결정론적 법칙 $\mu_n$으로 근사한다. 둘째는 선형 회귀에서 해석적 스펙트럼 필터의 조건부 예측 위험을 특성화한다. 이 설정에서 예측 위험에 대한 기존의 정밀한 근사는 릿지 회귀와 밀접한 문제에 집중되어 있었다. 본 분석은 벌크 스케일에서 더 넓은 필터 클래스를 다루며, 확인하기 쉬운 명시적 스펙트럼 안정성 조건을 제시한다. 이 이론을 거듭제곱 및 임계 스펙트럼 법칙에 적용하고 비례 영역을 복원한다. 예측에 대해서는 (음의) 릿지 추정량, 반복 릿지, 경사 흐름을 연구한다. 수학적으로는 확률적 보간의 아이디어를 바탕으로 스펙트럼 매개변수를 보간하는 결정론적 역방향 경로를 구성한다. 그 결과 얻은 리졸번트 및 혼합 리졸번트 대각합에 대한 한계는 벌크 내부에서 스펙트럼 법칙의 메조스코픽 근사를 제공하며, 코시 공식을 통해 해석적 스펙트럼 필터의 예측 분산과 제곱 편향에 대한 결정론적 등가물을 제공한다.

원문 초록

Spectral properties of the sample covariance are key to modern machine learning with high-dimensional data. Random matrix theory (RMT) supplies powerful tools; however, most classical results assume proportional asymptotics, where $d/n$ tends to a finite limit. In functional data analysis and kernel methods, a fixed infinite-dimensional Hilbert space is often the more natural setting for the observations, beyond the scope of proportional asymptotics. This calls for a dimension-free spectral theory for i.i.d. observations $\boldsymbol{x}_1, \dots, \boldsymbol{x}_n$ in a Hilbert space $\mathcal{H}$ with trace-class population covariance $\Sigma$. Building on the dimension-free ridge regression analysis of Cheng and Montanari (2024), we establish two deterministic equivalents with explicit nonasymptotic error bounds. The first approximates the empirical spectral law $\widehat{\mu}_n$ of the sample Gram matrix by a deterministic law $\mu_n$. The second characterizes the conditional prediction risk of analytic spectral filters in linear regression. Previous sharp approximations to prediction risk in this setting have focused on ridge regression and closely-related problems. Our analysis covers a broader class of filters at the bulk scale, with an explicit user-friendly spectral stability condition to check. We apply our theory to power and critical spectral laws, and we recover the proportional regime. For prediction, we study (negative) ridge estimators, iterated ridge, and gradient flow. Mathematically, building on the idea of stochastic interpolation, we construct a deterministic backward path to interpolate the spectral parameter. The resulting bounds on resolvent and mixed-resolvent traces give mesoscopic approximations to the spectral law within the bulk and, by Cauchy's formula, deterministic equivalents for the prediction variance and squared bias of analytic spectral filters.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21254v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.