arXiv:2611.19523v1 stat.ML

합성 함수 사전 구조의 기하학적 안정성과 표본 복잡도

Geometric Stability and Sample Complexity for Compositional Function Priors

Christopher L. Hammond

제출 2026-11-17

한국어 초록

본 연구는 지도학습에서 함수 합성 구조가 어떤 조건에서 차원 축소로 이어지는지 조사한다. 학습을 함수 공간의 사전 구조를 사용하는 경험적 위험 최소화로 정식화한다. 정규화 범함수가 근사 성능과 거리 공간 엔트로피 측면에서 유리한 함수의 부분집합을 선택한다. 모델은 $f(x)=g(Ax+\Delta h(x))$ 형태의 합성 함수다. 여기서 $A\in\mathbb{R}^{k\times d}$는 선형 기저 사상, $\Delta h$는 비선형 보정, $g$는 바깥 함수다. 즉, $f$는 비선형 보정을 제외하면 선형인 입력의 $k$차원 표현에 작용하는 임의의 매끄러운 함수다. 덮개 수에 대한 경계를 증명해 이 함수 계열의 통계 복잡도가 내재 차원에 따른 영역과 주변 공간의 $d$차원 비모수 수렴률 사이를 오간다는 것을 보인다. 내재 차원 영역에서 선형 사상의 $kd$개 원소에는 모수적 수렴률이 적용되고, 표현 차원 $k$에만 비모수적 수렴률이 적용된다. 두 영역 사이의 변화는 보정 크기 $\varepsilon=\|\Delta h\|$가 결정한다. 이어 $\varepsilon$을 데이터의 기하 구조와 연결한다. 데이터가 $k$차원 다양체를 둘러싼 좁은 관 안에 있고 회귀 목표가 입력에서 다양체 위의 최근접점에만 의존한다면, 국소적으로 목표를 정확히 $g(Ax+\Delta h(x))$로 분해할 수 있다. 이때 $A$는 접공간 좌표 사상이며, 보정의 소볼레프 노름은 해당 국소화 스케일의 곡률에 선형으로 비례한다. 아틀라스 전반에 걸쳐 국소 모델을 이어 붙이면, 유한한 국소 모델 망에서 최소제곱 추정량의 유한 표본 초과 위험 경계를 얻는다. 이 경계에서 주변 차원의 효과를 나타내는 항은 곡률이 0에 가까워질 때 사라진다. 1차원 모형 문제에서는 역방향 결과도 증명한다. 곡률이 있는 데이터에서는 모든 아핀 합성 예측기의 오차에 하한이 생기며, 이를 피하려면 보정 예산이 곡률에 맞춰 커져야 한다. 곡률을 반영한 대응 모델 계열은 내재 차원의 수렴률을 달성한다. 따라서 보정 크기 $\varepsilon$은 곡률과 통계 복잡도를 연결하는 유효 차원 매개변수다.

원문 초록

We study when compositional structure yields dimension reduction in supervised learning. We frame learning as empirical risk minimization with a function-space prior: a regularization functional selects a subset of functions with favorable approximation and metric entropy. The models are compositions $f(x)=g(Ax+\Delta h(x))$, where $A\in\mathbb{R}^{k\times d}$ is a linear base map, $\Delta h$ is a nonlinear correction, and $g$ is an outer function; that is, $f$ is an arbitrary smooth function of a $k$-dimensional representation of the input that is linear up to a correction. We prove covering-number bounds showing that the statistical complexity of this class interpolates between an intrinsic regime, parametric in the $kd$ entries of the linear map and nonparametric only in the representation dimension $k$, and an ambient $d$-dimensional nonparametric rate; the interpolation is controlled by the correction size $\varepsilon=\|\Delta h\|$. We then connect $\varepsilon$ to data geometry. If the data lie in a small tube around a $k$-dimensional manifold and the regression target depends on the input only through its nearest point on that manifold, then locally the target factorizes exactly as $g(Ax+\Delta h(x))$ with $A$ a tangent chart and a correction whose Sobolev norm scales linearly with curvature at the localization scale. Patching such local models over an atlas gives a finite-sample excess-risk bound for a least-squares estimator over a finite net of local models, whose ambient term vanishes with curvature. For a one-dimensional model problem we also prove a converse: on curved data, every affine compositional predictor faces an error floor unless its correction budget scales with curvature, while the matching curved model class attains the intrinsic rate. The correction size $\varepsilon$ is thus the effective-dimension parameter linking curvature to statistical complexity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19523v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.