본 연구에서는 CIFAR-5m, SVHN, ImageNet을 포함한 실제 데이터셋에서 널리 쓰이는 회전 불변(rotation-invariant) 커널을 사용한 커널 회귀(kernel regression)를 연구합니다. 저자들은 경험적 데이터 공분산 행렬과 타깃 함수 $f_*$의 경험적 다항식 분해라는 단 두 가지 측정값만으로 학습 곡선(표본 크기 대비 테스트 위험도)을 예측하는 이론적 프레임워크를 제시합니다. 핵심적인 새로운 아이디어는 비등방성(anisotropic) 데이터 분포에 대한 커널의 고윳값 및 고유함수의 해석적 근사입니다. 고유함수는 데이터의 에르미트 다항식(Hermite polynomials)과 유사하므로, 이 근사를 에르미트 고유구조 가설(Hermite eigenstructure ansatz, HEA)이라고 부릅니다. 가우시안 데이터에 대해 HEA를 증명하였으며, 실제 이미지 데이터 또한 실제로 HEA가 잘 성립할 정도로 종종 "충분히 가우시안에 가까움"을 발견하여 커널 고유구조와 테스트 위험도를 연결하는 기존 연구 결과를 적용해 학습 곡선을 예측할 수 있음을 보였습니다. 커널 회귀를 넘어, 특징 학습(feature-learning) 영역의 MLP 또한 HEA가 예측한 순서대로 에르미트 다항식을 학습함을 경험적으로 확인했습니다. 본 HEA 프레임워크는 실제 데이터셋의 자명하지 않은 학습 알고리즘에 대해 데이터셋 구조를 모델 성능까지 완전히 연결하는 엔드투엔드(end-to-end) 학습 이론이 가능함을 보여주는 개념 증명입니다.
테이블형(tabular) 이상 탐지기 계열은 제곱 오차 손실(squared-error loss) 하에서 신경망 매핑(neural map)을 고정된 타겟(target)을 향해 학습시키고, 테스트 시점의 잔차(residual)로 이상치를 점수화한다. 수축 매칭(contraction matching), 1단계 교정 흐름(one-step rectified flow), 재구성 오토인코더(reconstruction autoencoder)가 모두 이 틀에 해당한다. 우리는 수렴(convergence) 붕괴 현상을 규명한다: 최적화(optimization)가 향상될수록 탐지기의 성능은 오히려 저하된다. 수렴 시점에는 학습된 매핑이 분포를 벗어난 영역에서도 타겟을 추적하게 되어, 이상치뿐 아니라 정상 데이터에서도 잔차 신호가 사라진다. 따라서 이러한 탐지기들은 신호를 유지하기 위해 암묵적인 비수렴 상태, 즉 조기 종료(early stopping)나 용량 제한(capacity cap)에 의존한다. 우리는 이것이 구조적인 문제라고 주장한다: 효과적인 이상 탐지를 위해서는 제약 없는 외삽(extrapolation)을 막는 지역성(locality) 제약이 필요하다. 고전적인 탐지기(kNN, KDE, isolation forest, LOF)는 지역성을 명시적으로 강제하지만, 고정 타겟 신경망 탐지기는 그렇지 않다. 우리는 고정 타겟 탐지기에 대응하는 커널(kernel) 회귀 모델이 유한 대역폭(finite-bandwidth) Nadaraya-Watson 평활기(smoother)임을 보여줌으로써 이 연관성을 형식화하며, 이를 커널 수축 매칭(Kernel Contraction Matching, KCM)이라 부른다. KCM은 닫힌 형태(closed-form)로 표현되며 학습이 필요 없고 CPU 효율적이지만, ADBench에서 기존의 신경망 베이스라인(baseline)과 동등한 성능을 보인다. 이러한 연결을 바탕으로, 우리는 신경망 예측이 학습(training) 타겟의 커널 가중 평균(kernel-weighted average)에서 벗어나는 정도를 페널티로 부여하는 커널 고정 정규화(Kernel-Anchored Regularizer, KAR)를 제안한다. 붕괴가 발생하기 쉬운 ADBench 데이터셋과 세 가지 백본(backbone)에서, KAR은 붕괴를 완화하고 장기간 학습 시 AUROC를 향상시킨다.
벡터값 재생 커널 힐베르트 공간(vRKHS)에서 Nyström 부분표본추출 기반 연산자 학습으로 대규모 커널 행렬 계산 병목을 줄이고, 지표 함수로 특징지어진 일반 소스 조건에서 minimax-최적 수렴 속도를 확립한다. 신호·오디오·이미지 디노이징, 역 Radon 변환 재구성, 에너지 효율 예측 실험에서 전체 커널 방법과 유사한 성능을 훨씬 낮은 계산 비용으로 달성한다.