arXiv:2611.23979v1 stat.ML

균일하게 유계인 립시츠 상수를 갖는 최적 심층 비모수 회귀

Optimal Deep Nonparametric Regression with Uniformly Bounded Lipschitz Constants

Jiaxin Shi, Ziyuan Chen, Jian Huang, Hansheng Wang

제출 2026-11-19

한국어 초록

입력 섭동에 대한 안정성은 잡음이 있는 공변량이나 추정된 특징을 포함하는 많은 응용에서 심층 신경망 추정량에 필요하다. 가중치 노름 제약은 신경망의 립시츠 상수를 제한함으로써 입력 섭동에 대한 민감도를 제어하는 데 널리 사용된다. 그러나 표준 노름 곱에 고정된 한계를 둔 기존 근사 결과는 최적 통계적 수렴률을 확립하기에 충분하지 않다. 본 논문은 분할 스펙트럼 노름 곱 제약 하에서 심층 ReLU 신경망에 대한 정밀한 근사 이론을 확립한다. 이 이론적 결과는 노름 곱의 한계를 고정한 채 신경망 깊이를 증가시키면 충분히 매끄러운 횔더 함수를 임의의 정확도로 균일하게 근사할 수 있음을 보여 준다. 이어서 심층 비모수 회귀를 위한 벌점화 최소제곱 추정량을 제안한다. 이 추정량은 균일하게 유계인 립시츠 상수를 가지면서도 로그 인자를 제외하고 최적 비모수 수렴률을 달성한다. 응용으로서 2단계 학습에 대한 최적 예측률을 확립하고 적대적 입력 섭동 하에서의 강건성 보장을 제시한다. 수치 연구는 벌점화 추정량이 입력 섭동에 대한 민감도가 잘 제어되며 예측 정확도는 고전적인 심층 신경망 방법과 비슷함을 보여 준다.

원문 초록

Stability under input perturbations is necessary for deep neural network estimators in many applications involving noisy covariates or estimated features. Weight norm constraints are widely used to control sensitivity to input perturbations by bounding the Lipschitz constant of neural networks. However, existing approximation results under fixed bounds on standard norm products are insufficient to establish optimal statistical rates. In this paper, we establish a sharp approximation theory for deep ReLU networks under a split spectral norm product constraint. This theoretical result shows that sufficiently smooth H\"{o}lder functions can be uniformly approximated to arbitrary accuracy as the network depth increases, with the norm-product bound held fixed. We then propose a penalized least squares estimator for deep nonparametric regression. The resulting estimator has a uniformly bounded Lipschitz constant while still achieving the optimal nonparametric rate up to a logarithmic factor. As applications, we establish optimal prediction rates for two-stage learning and provide robustness guarantees under adversarial input perturbations. Numerical studies show that the penalized estimator has well-controlled sensitivity to input perturbations and prediction accuracy comparable to that of classical deep network methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23979v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.