평균이 0인 확률변수 $X$의 준가우시안(sub-Gaussian) 매개변수(분산 대리량(variance proxy)이라고도 함)는 $ξ^2_\star = \sup_{λ\in \mathbb{R}} L(λ)$로 정의되며, 여기서 $L(λ) = \frac{2}{λ^2} \log \mathbb{E} e^{λX}$는 가중 누적생성함수(cumulant generating function)이다. 본 연구는 $ξ^2_\star$의 추정을 다루며, 최소최대 위험(minimax risk)이 분포 $P$의 꼬리 거동(tail behavior)의 영향을 포착하는 비증가 함수 $δ_P(C) = \sup_{|λ| \geq C} L(λ) - \sup_{|λ| \leq C} L(λ)$에 의해 결정됨을 증명한다. 어떤 비증가 함수 $r$에 대해 $δ_P \leq r$을 만족하는 분포 클래스 전체에서, 최소최대 위험은 (곱셈 상수 범위 내에서) $r(\sqrt{\log n}) + n^{-1/2}$로 하한이 주어지고, 임의의 $\varepsilon > 0$에 대해 $r((\log n)^{1/2-\varepsilon}) + n^{-1/2 + \varepsilon}$로 상한이 주어진다. 상한을 달성하는 우리의 추정량은 $L$의 경험적 유사량에 대한 제약 최대화(constrained maximization)에 기반한다. 이 추정량은 거의 최소최대 최적(minimax optimal)이면서 적응적(adaptive)일 뿐만 아니라, 적절한 조건 하에서 점근적으로 정규분포(asymptotically normal)를 따르며, 기저 분포가 준가우시안이 아닌 경우에는 분포 꼬리의 무거움(heaviness)에 의해 결정되는 속도로 발산함을 추가로 증명한다.
신경망의 통계적 정확도는 근사 능력과 데이터로부터 적합된 클래스의 복잡도 모두에 의존합니다. 네트워크 크기를 늘리는 것이 근사를 개선하는 자연스러운 방법이지만, 매개변수 크기(parameter magnitude)는 두 측면 모두에서 그 역할을 정량화해야 하는 또 다른 자원을 제공합니다. 본 논문에서는 하나의 기본 유계 1-립시츠(Lipschitz) 이진-삼각 활성화 함수(Dyadic–Triangular Activation)를 사용하여 고정된 깊이에서 정밀한 너비-크기 트레이드오프를 규명합니다. $0<\beta\leq1$인 $[0,1]^d$ 상의 단위 $\beta$-횔더(Hölder) 볼에 대해, 네트워크 너비가 $N\geq2d+3$을 만족하고 매개변수 크기가 $T\geq1$로 유계될 때 $0<p<\infty$에 대한 최적 $L^p$ 근사 오차는 $[N^2\log(eNT)]^{-\beta/d}$ 차수입니다. 이에 일치하는 하계는 모든 고정된 전역 횔더 활성화 함수에 대해 성립하며, 해당 횔더 지수는 상수에 영향을 줄 뿐 수렴 속도(rate)에는 영향을 주지 않습니다. 유계된 설계 밀도와 독립적이고 중심화된 서브-가우시안(sub-Gaussian) 잡음 하에서, $M$이 표본 크기일 때 $N^2\log(eNT)\asymp M^{\frac{d}{2\beta+d}}$를 만족하기만 하면 깊이 $23$의 전체 클리핑된 클래스에 대한 근사 최소제곱은 로그 손실 없이 고전적인 횔더 미니맥스 위험 $\mathcal{O}(M^{-\frac{2\beta}{2\beta+d}})$을 달성합니다. 이는 단위 매개변수 반경부터 고정된 네트워크 크기에 이르기까지 통계적으로 최적인 선택들의 연속체를 제공합니다. 고정된 크기에서 최대 $8d+7$개의 0이 아닌 매개변수를 갖는 4개의 은닉층은 준최적 반경을 제공하는 반면, 최대 $8d+27$개의 매개변수를 갖는 6개의 층은 근사 오차 $\eta$에서 최적 차수 $\log T=\mathcal{O}(\eta^{-d/\beta})$를 달성합니다. 동일한 디코딩 방식은 고정 크기 트랜스포머 근사 역시 산출합니다.
구조 무관(structure-agnostic) 모델 하에서 가우시안 시퀀스의 이차 함수형과 이차 밀도 적분 함수형에 대해 이중 머신러닝(Double Machine Learning, DML) 추정량이 미니맥스임에도 점근적으로 허용 불가(inadmissible)함을 보이며, 단조 편향(monotone bias) 클래스에서는 Liu 등의 경험적 고차 영향 함수(HOIF) 기반 2차 U-통계량 추정량이 DML을 점근적으로 지배한다. 기대 조건부 공분산에 대해서는 DML과 HOIF가 모두 미니맥스이나 서로 점근 우위 관계는 없다.
스펙클 노이즈(speckle noise)는 합성 개구레이더(synthetic aperture radar), 광학적 간섭단층촬영(optical coherence tomography), 디지털 홀로그래피(digital holography)와 같은 일관(coherent) 영상 방식에서 흔히 나타나는 승산(multiplicative) 노이즈이다. 실무에서 심층 학습 방법은 스펙클 제거(speckle denoising)에서 최첨단 성능을 달성했지만, 그 근본적인 통계적 한계는 아직 거의 탐구되지 않았다. 가법(additive) 노이즈 모델과 달리, 승산 스펙클 노이즈는 회귀 함수가 조건부 평균으로부터 식별 불가능(unidentifiable)하게 만들어, 기존의 최소제곱법(least-squares) 기반 심층 학습 접근법을 적용할 수 없게 한다. 우리는 승산 스펙클 노이즈와 가법 가우스 노이즈가 모두 포함된 모델 하에서, 가능도 기반 심층 신경망(DNN) 추정량(estimator)을 사용한 매끄러운 비모수(nonparametric) 회귀 함수의 미니맥스 추정(minimax estimation)을 연구한다. 우리의 프레임워크는 저차원 및 희소(sparse) 고차원 특징(feature)을 모두 수용한다. 우리는 제안한 DNN 추정량의 추정 오차에 대한 유한 표본(finite-sample) 상계(upper bounds)를 확립하고, 우리 모델 하에서 비모수 함수 복원(function recovery)에 대한 미니맥스 하계(lower bounds)를 유도하며, 표본 크기(sample size)에서 로그 인수(logarithmic factors)까지 일치함을 보인다. 게다가 이러한 미니맥스 비율(rate)은 가법 가우스 노이즈만 있는 비모수 회귀에서의 비율과 로그 인수까지 일치하며, 승산 스펙클 노이즈가 제기하는 난제에도 불구하고 추정의 본질적 난이도(intrinsic difficulty)는 근본적으로 변하지 않음을 보여준다. 수치 실험(numerical experiments)은 DNN 기반 디스펙클링(despeckling) 방법의 일치성(consistency)을 추가로 뒷받침하고 그 효과를 입증한다.
KSD를 고정 목표 분포와의 비교에 사용할 때, 표준 플러그인 V-통계량이 트레이스 스케일에 머물러 미니맥스 최적이 아님을 증명하고, 스타인 공분산 연산자 $C_\star$의 힐베르트-슈미트 노름에 의해 결정되는 미니맥스 스케일 $\sqrt{\|C_\star\|_{\mathrm{HS}}/n}$이 대각 항을 제거한 양의 부분 제곱근 U-통계량으로 달성됨을 보인다. 가우시안 목표 분포와 고정 대역폭 가우시안 커널 환경에서는 V-통계량과 최적 추정량 간의 효율 손실이 차원에 대해 지수적으로 증가함을 명시적으로 계산으로 확인한다.
클러스터링은 통계학과 기계학습에서의 기본적인 문제이다. 우리는 2성분 서브 가우시안 혼합 모델에 대한 최초의 1비트 클러스터링 방법을 제안한다. 이 방법은 디더(dithered) 양자화기를 통해 얻은 각 샘플 항목당 단 1비트만을 사용한다. 클러스터 중심에 대한 완만한 비첨예(non-spikiness) 조건 하에서, Lloyd 알고리즘의 변형이 양자화되지 않은 설정에서의 것과 비교 가능한 신호 대 잡음비(signal-to-noise ratio)에 대해 지수적으로 감쇠하는 오분류율(misclassification rate)을 달성함을 보인다. 이 결과는 더 나아가, 양자화되지 않은 데이터에 대한 최적 임계값을 로그 계수만큼만 초과하는 명시적 분리(separation) 조건 하에서 정확한 복원(exact recovery)을 함의한다. 차원 $p$가 충분히 클 때, 비첨예 조건은 양자화 이전에 Haar 분포 행렬을 사용한 무작위 회전을 적용함으로써 강제할 수 있다. 특히, $n$을 표본 크기(sample size)라 할 때, 부분 복원(partial recovery)에서는 $p \gtrsim 1$일 때, 정확한 복원(exact recovery)에서는 $p \gtrsim \log n \log\log n$일 때 높은 확률로 성립한다. 우리는 또한 미니맥스(minimax) 하한을 확립하여, 오분류율과 분리 조건이 일반적으로 날카로운 상수(sharp constants)를 갖음을 보인다. 수치 결과를 제시하여 이론을 뒷받침하고 제안 방법의 효과를 입증한다.
우리는 경험적 위험 최소화를 통한 스코어 함수 추정 문제를 다룹니다. 우리는 먼저 평탄 토러스(flat torus) 상에 밀도를 갖는 확률 측도 $μ$의 표본으로부터 해당 확률 측도의 스코어 함수를 추론하는 문제부터 시작합니다. 가설 공간을 소볼레프 공(Sobolev ball)으로 제한하는 것이 과적합을 방지하고 미니맥스 추정 속도를 얻기에 충분하다는 것을 보여줍니다. 그 다음으로, 스코어 기반 생성 모델링(score-based generative modeling) 맥락에서의 스코어 함수 추정 문제를 고려합니다. 마찬가지로, 스코어 추정 속도를 스코어 기반 생성 모델의 출력 품질과 연결하는 추측 하에서, 가설 클래스를 소볼레프 공으로 제한하여 획득한 스코어 함수 추정기를 사용하여 해당 접근 방식에 대한 미니맥스 속도를 얻습니다.
데이터 수집은 현대 통계 및 기계학습 파이프라인의 핵심 구성 요소이며, 특히 관심 대상인 목표 모집단을 연구하기 위해 여러 이질적인 소스로부터 데이터를 수집해야 할 때 더욱 그렇다. 의학 연구나 정치 여론조사와 같은 많은 사용 사례에서 서로 다른 소스는 서로 다른 표본 추출 비용을 발생시킨다. 관측값에는 종종 관련된 집단 정체성이 부여되며—예를 들어 건강 지표, 인구통계학적 특성, 또는 정치적 성향—이러한 집단의 상대적 구성은 소스 모집단들 사이에서뿐만 아니라 소스와 목표 모집단 사이에서도 크게 달라질 수 있다. 본 연구에서는 고정 예산 하 다중 소스 데이터 수집을 연구하며, 모집단 평균 및 집단 조건부 평균의 추정에 초점을 맞춘다. 우리는 단순한 데이터 수집 전략(예: 목표 분포를 "맞추려" 시도하는 것)이나 표준 추정량(예: 표본 평균)에 의존하는 것이 매우 차선책일 수 있음을 보인다. 대신, 우리는 유효 표본 크기—총 표본 크기를 $D_{χ^2}(q\mid\mid\overline{p}) + 1$로 나눈 값—를 최대화하는 표본 추출 계획을 개발한다. 여기서 $q$는 목표 분포, $\overline{p}$는 집계된 소스 분포, $D_{χ^2}$는 $χ^2$-발산이다. 우리는 이 표본 추출 계획을 고전적인 사후층화(post-stratification) 추정량과 짝지어 그 위험(risk)의 상계를 구한다. 우리는 대응하는 하계를 제공하여, 우리의 접근법이 예산 제약 하 미니맥스 최적 위험을 달성함을 확립한다. 우리의 기법은 초과 위험(excess risk)을 최소화하는 예측 문제로도 확장되며, 비용이 높고 이질적인 데이터 소스를 사용한 다중 소스 학습에 대한 원칙적인 접근법을 제공한다.