본 논문은 의존 데이터 하에서 심층 신경망(DNN) 추정량에 대한 이론을 발전시킨다. 다양한 DNN 기반 추정량에 적용 가능한 이론을 제공하기 위해, 먼저 무계(無界) 집합을 값으로 취하는, 잠재적으로 비정상(nonstationary)인 $\beta$-혼합($\beta$-mixing) 데이터 아래 일반적인 추정 문제 클래스에 대해 비모수적 sieve 추정량의 이론적 및 경험적 $\mathcal{L}^{2}$-오차에 대한 비점근(nonasymptotic) 확률 한을 확립한다. 이어 이 이론을 DNN 가중치에 대한 경계나 희소성 제약 없이 완전 연결(fully connected) 및 합성곱(convolutional) DNN 추정량에 적용한다. 두 DNN 클래스 모두에 대해, 추정 대상 함수가 H\"older 매끄름(H\"older smooth)이고 데이터가 비정상, 서브가우시안(subgaussian), $\beta$-혼합이며 지수 또는 다항 감쇠를 갖는 경우의 일반 결과를 도출한다. 이를 비모수 회귀, 로지스틱 회귀, 분위수 회귀 설정으로 특수화한다. 지수 $\beta$-혼합 하에서, 결과 추정량은 로그 인자를 제외하고 Stone (1982)의 비모수적 minimax rate에 도달한다.
이 논문은 시공간 의존성을 가진 데이터 환경에서 비모수 회귀 함수의 추정에 초점을 맞춘다. 이러한 맥락에서 우리는 Mammen and Van De Geer(1997)와 Rudin et al.(1992)이 도입한 비모수 추정량인 국소 적응 회귀 스플라인(Locally Adaptive Regression Splines)을 연구한다. 우리가 아는 한, 이 추정량은 유사한 맥락에서 이전에 검토된 바 없다. 단변량 설정에서는 고려하는 신호가 유계 전변동(bounded total variation)을 갖는 k차 약 도함수를 가진다고 가정하여 일반적인 수준의 평활도를 허용한다. 다변량 설정에서는 Padilla et al.(2018a)이 연구한 K-최근접 이웃 퓨즈드 라쏘(K-Nearest Neighbor fused lasso) 추정량의 변형을 연구한다. 이 경우, 함수는 유계 변동을 가지며 조각별 립시츠(piecewise Lipschitz) 연속성 기준을 확장하는 성질을 만족하거나, 조각별 립시츠 함수로 가정된다. 실용적인 계산을 위해 ADMM 알고리즘을 개발한다. 하한과의 정합을 통해 단변량 및 다변량 추정량의 미니맥스 최적성(minimax optimality)이 입증된다. 국소 적응 회귀 스플라인 연구에서 전례 없는 독특한 상전이(phase transition) 현상이 우리의 분석을 통해 나타난다. 시뮬레이션 연구와 실제 데이터 적용 모두 기존 문헌의 확립된 기법과 비교했을 때 우리 방법의 우수한 성능을 뒷받침한다.
current-status 자료에서 검진 시점 이전 사건 발생 여부만으로 사건 시점의 조건부 누적분포함수를 ReLU 신경망 sieve 최대가능도로 추정하는 문제를 다루며, Hölder 매끄러움 가정 하 ReLU 근사 이론과 empirical process 논증을 결합해 명시적 수렴율을 확립한다. 이 결과는 current-status 관측 하에서 신경망 추정과 후속 추론에 대한 이론적 근거를 제공한다.
실제로 접하는 데이터는 종종 가산 잡음(additive noise)으로 오염되어 있으며, 웨이블릿 수축(wavelet shrinkage)은 비모수 추정(nonparametric estimation)에서 기저 신호를 복원하는 데 있어 여전히 기본적인 도구로 남아 있습니다. 하드 및 소프트 임계값 적용(hard and soft thresholding)과 같은 고전적인 절차는 웨이블릿 계수를 유지할지 여부를 거의 전적으로 그 크기에 따라 결정합니다. 많은 설정에서 효과적이지만, 이러한 규칙은 신호와 잡음의 구분이 불확실한 중간 영역에 크기가 속하는 계수에 대해서는 너무 경직될 수 있습니다. 우리는 웨이블릿 수축과 머신러닝을 결합한 이중 임계값 웨이블릿 노이즈 제거 절차인 MLShrink를 제안합니다. 하한 임계값보다 낮은 계수는 폐기되고, 상한 임계값보다 높은 계수는 유지되며, 중간 대역의 계수는 국소 웨이블릿 영역 특징을 사용하여 분류됩니다. 이러한 방식으로 MLShrink는 결정 경계(decision boundary)에서 멀리 떨어진 곳에서는 고전적 임계값 적용의 단순성을 유지하면서, 모호한 계수에 대해서는 데이터 적응적(data-adaptive) 결정을 허용합니다. 본 논문은 또한 이 아키텍처에 맞춰진 이론적 프레임워크를 개발합니다. 우리는 MLShrink가 비팽창(nonexpansive) 지지 집합 선택 규칙임을 보이고, 초과 노이즈 제거 위험(excess denoising risk)이 미결정 대역에서의 분류 오류에 의해 결정됨을 보여주는 오라클 기반(oracle-based) 위험 분해를 도출하며, 분류기 성능에 대한 적절한 가정 하에서 오라클 일관성(oracle-consistency) 결과를 확립합니다. 표준 벤치마크 신호에 대한 시뮬레이션 실험은 MLShrink가 여러 확립된 웨이블릿 수축 방법과 경쟁력이 있으며, 불규칙하거나 에지가 많거나 비평활(non-smooth)한 구조를 가진 신호에 특히 효과적임을 나타냅니다. 이러한 발견은 중간 임계값 대역에서의 학습된 결정이 고전적인 웨이블릿 노이즈 제거와 현대 통계적 학습 사이의 유용하고 해석 가능한(interpretable) 연결 고리를 제공함을 시사합니다.