arXiv:2606.06384v2 math.ST

준가우시안 매개변수(sub-Gaussian parameter)의 추정

Estimation of the sub-Gaussian Parameter

Jason Liu, Min Xu, Jinchuan Xing

제출 2026-06-04

저자 비고

arXiv Comments

30 pages, 3 figures, and 1 table

한국어 초록

평균이 0인 확률변수 $X$의 준가우시안(sub-Gaussian) 매개변수(분산 대리량(variance proxy)이라고도 함)는 $ξ^2_\star = \sup_{λ\in \mathbb{R}} L(λ)$로 정의되며, 여기서 $L(λ) = \frac{2}{λ^2} \log \mathbb{E} e^{λX}$는 가중 누적생성함수(cumulant generating function)이다. 본 연구는 $ξ^2_\star$의 추정을 다루며, 최소최대 위험(minimax risk)이 분포 $P$의 꼬리 거동(tail behavior)의 영향을 포착하는 비증가 함수 $δ_P(C) = \sup_{|λ| \geq C} L(λ) - \sup_{|λ| \leq C} L(λ)$에 의해 결정됨을 증명한다. 어떤 비증가 함수 $r$에 대해 $δ_P \leq r$을 만족하는 분포 클래스 전체에서, 최소최대 위험은 (곱셈 상수 범위 내에서) $r(\sqrt{\log n}) + n^{-1/2}$로 하한이 주어지고, 임의의 $\varepsilon > 0$에 대해 $r((\log n)^{1/2-\varepsilon}) + n^{-1/2 + \varepsilon}$로 상한이 주어진다. 상한을 달성하는 우리의 추정량은 $L$의 경험적 유사량에 대한 제약 최대화(constrained maximization)에 기반한다. 이 추정량은 거의 최소최대 최적(minimax optimal)이면서 적응적(adaptive)일 뿐만 아니라, 적절한 조건 하에서 점근적으로 정규분포(asymptotically normal)를 따르며, 기저 분포가 준가우시안이 아닌 경우에는 분포 꼬리의 무거움(heaviness)에 의해 결정되는 속도로 발산함을 추가로 증명한다.

원문 초록

The sub-Gaussian parameter (also called the variance proxy) of a mean-zero random variable $X$ is defined as $ξ^2_\star = \sup_{λ\in \mathbb{R}} L(λ)$ where $L(λ) = \frac{2}{λ^2} \log \mathbb{E} e^{λX}$ is a weighted cumulant generating function. We study the estimation of $ξ^2_\star$ and prove that the minimax risk is governed by a non-increasing function $δ_P(C) = \sup_{|λ| \geq C} L(λ) - \sup_{|λ| \leq C} L(λ)$ which captures the influence of the tail behavior of the distribution $P$. Over the class of distributions with $δ_P \leq r$ for a non-increasing function $r$, the minimax risk is, up to a multiplicative constant, lower bounded by $r(\sqrt{\log n}) + n^{-1/2}$ and upper bounded by $r((\log n)^{1/2-\varepsilon}) + n^{-1/2 + \varepsilon}$ for any $\varepsilon > 0$. Our estimator for the upper bound is based on constrained maximization of the empirical analogue of $L$. In addition to being almost minimax optimal and adaptive, we further prove that the estimator is asymptotic normal under suitable conditions and that, if the underlying distribution is not sub-Gaussian, the estimator diverges with a rate determined by the heaviness of the distributional tail.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06384v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25710v1stat.ML공통 태그 parameter estimation, minimax estimation

신경망 근사와 미니맥스 회귀에서 네트워크 크기와 매개변수 크기 간의 최적 트레이드오프

Optimal Tradeoffs Between Network Size and Parameter Magnitude in Neural Approximation and Minimax Regression

신경망의 통계적 정확도는 근사 능력과 데이터로부터 적합된 클래스의 복잡도 모두에 의존합니다. 네트워크 크기를 늘리는 것이 근사를 개선하는 자연스러운 방법이지만, 매개변수 크기(parameter magnitude)는 두 측면 모두에서 그 역할을 정량화해야 하는 또 다른 자원을 제공합니다. 본 논문에서는 하나의 기본 유계 1-립시츠(Lipschitz) 이진-삼각 활성화 함수(Dyadic–Triangular Activation)를 사용하여 고정된 깊이에서 정밀한 너비-크기 트레이드오프를 규명합니다. $0<\beta\leq1$인 $[0,1]^d$ 상의 단위 $\beta$-횔더(Hölder) 볼에 대해, 네트워크 너비가 $N\geq2d+3$을 만족하고 매개변수 크기가 $T\geq1$로 유계될 때 $0<p<\infty$에 대한 최적 $L^p$ 근사 오차는 $[N^2\log(eNT)]^{-\beta/d}$ 차수입니다. 이에 일치하는 하계는 모든 고정된 전역 횔더 활성화 함수에 대해 성립하며, 해당 횔더 지수는 상수에 영향을 줄 뿐 수렴 속도(rate)에는 영향을 주지 않습니다. 유계된 설계 밀도와 독립적이고 중심화된 서브-가우시안(sub-Gaussian) 잡음 하에서, $M$이 표본 크기일 때 $N^2\log(eNT)\asymp M^{\frac{d}{2\beta+d}}$를 만족하기만 하면 깊이 $23$의 전체 클리핑된 클래스에 대한 근사 최소제곱은 로그 손실 없이 고전적인 횔더 미니맥스 위험 $\mathcal{O}(M^{-\frac{2\beta}{2\beta+d}})$을 달성합니다. 이는 단위 매개변수 반경부터 고정된 네트워크 크기에 이르기까지 통계적으로 최적인 선택들의 연속체를 제공합니다. 고정된 크기에서 최대 $8d+7$개의 0이 아닌 매개변수를 갖는 4개의 은닉층은 준최적 반경을 제공하는 반면, 최대 $8d+27$개의 매개변수를 갖는 6개의 층은 근사 오차 $\eta$에서 최적 차수 $\log T=\mathcal{O}(\eta^{-d/\beta})$를 달성합니다. 동일한 디코딩 방식은 고정 크기 트랜스포머 근사 역시 산출합니다.

arXiv:2606.22391v2math.ST공통 태그 parameter estimation, minimax estimation

구조 무관 모델 하에서 이중 머신러닝 추정량의 점근적 허용 불가성

On the Asymptotic Inadmissibility of Double Machine Learning Estimators Under Structure-Agnostic Models

Balakrishnan 등(2026)이 도입한 구조 무관(structure-agnostic, SA) 모델은, 실제로 매끄러움(smoothness)이나 희소성(sparsity)과 같은 데이터 생성 법칙에 대한 구조적 가정을 일반적으로 알지 못한다는 점을 반영하는 것을 목표로 한다. 대략 말하면, SA 모델은 관측 데이터 생성 법칙을 (블랙박스 머신러닝) 추정치—주어진 것으로 고정된—의 어떤 rn-근방(neighborhood) 내에 있도록 제한하며, 여기서 rn은 추정치가 진값으로 수렴(convergence)하는 속도를 나타낸다. SA 모델 하에서 Balakrishnan 등(2026)은 세 가지 함수형—가우시안 시퀀스 모델의 이차 함수형, 이차 밀도 적분 함수형, 기대 조건부 공분산—에 대한 널리 쓰이는 이중 머신러닝(Double Machine Learning, DML) 추정량이 미니맥스(minimax)임을 보인다. 그러나 미니맥스 추정량은 허용 불가(inadmissible)할 수 있다. 본 논문에서는 세 함수형 중 처음 두 개에 대해 SA 모델 하에서 DML 추정량이 점근적으로 허용 불가함을 보인다. 특히, 이 두 함수형이 단조 바이어스(monotone bias) 클래스라고 부르는 함수형 클래스에 속함을 보인다. 이 클래스에 대해 SA 모델 하에서 DML 추정량을 점근적으로 지배(asymptotically dominate)하는 2차(U-통계량) 추정량을 제시한다. 이 2차 추정량은 Liu 등(2017)에서 도입된 경험적 고차 영향 함수(higher-order influence function, HOIF) 추정량이다. 또한 DML 추정량과 마찬가지로 경험적 HOIF 추정량도 세 번째 함수형(기대 조건부 공분산)에 대해 미니맥스이지만, 어느 쪽도 서로를 점근적으로 지배하지는 않는다.

arXiv:2607.14064v1math.ST공통 태그 parameter estimation, minimax estimation

스펙클 회귀를 위한 가능도 기반 심층 학습의 미니맥스 이론

Minimax Theory of Likelihood-Based Deep Learning for Speckle Regression

스펙클 노이즈(speckle noise)는 합성 개구레이더(synthetic aperture radar), 광학적 간섭단층촬영(optical coherence tomography), 디지털 홀로그래피(digital holography)와 같은 일관(coherent) 영상 방식에서 흔히 나타나는 승산(multiplicative) 노이즈이다. 실무에서 심층 학습 방법은 스펙클 제거(speckle denoising)에서 최첨단 성능을 달성했지만, 그 근본적인 통계적 한계는 아직 거의 탐구되지 않았다. 가법(additive) 노이즈 모델과 달리, 승산 스펙클 노이즈는 회귀 함수가 조건부 평균으로부터 식별 불가능(unidentifiable)하게 만들어, 기존의 최소제곱법(least-squares) 기반 심층 학습 접근법을 적용할 수 없게 한다. 우리는 승산 스펙클 노이즈와 가법 가우스 노이즈가 모두 포함된 모델 하에서, 가능도 기반 심층 신경망(DNN) 추정량(estimator)을 사용한 매끄러운 비모수(nonparametric) 회귀 함수의 미니맥스 추정(minimax estimation)을 연구한다. 우리의 프레임워크는 저차원 및 희소(sparse) 고차원 특징(feature)을 모두 수용한다. 우리는 제안한 DNN 추정량의 추정 오차에 대한 유한 표본(finite-sample) 상계(upper bounds)를 확립하고, 우리 모델 하에서 비모수 함수 복원(function recovery)에 대한 미니맥스 하계(lower bounds)를 유도하며, 표본 크기(sample size)에서 로그 인수(logarithmic factors)까지 일치함을 보인다. 게다가 이러한 미니맥스 비율(rate)은 가법 가우스 노이즈만 있는 비모수 회귀에서의 비율과 로그 인수까지 일치하며, 승산 스펙클 노이즈가 제기하는 난제에도 불구하고 추정의 본질적 난이도(intrinsic difficulty)는 근본적으로 변하지 않음을 보여준다. 수치 실험(numerical experiments)은 DNN 기반 디스펙클링(despeckling) 방법의 일치성(consistency)을 추가로 뒷받침하고 그 효과를 입증한다.

arXiv:2607.03367v1math.ST공통 태그 parameter estimation, minimax estimation

커널 스타인 불일치의 미니맥스 추정: 트레이스 스케일 대 힐베르트-슈미트 스케일

Minimax Estimation of Kernel Stein Discrepancy: Trace versus Hilbert-Schmidt Scales

커널 스타인 불일치(Kernel Stein Discrepancy, KSD)는 스코어 함수만으로 알려진 고정 목표 분포와 샘플을 비교하는 방법으로, 적합도 검정, 샘플 품질 평가, 근사 추론에 널리 활용된다. 본 연구에서는 $n$개의 독립 관측값으로부터 $\operatorname{KSD}(P_0,P)$를 추정하는 문제를 분석하고, 미니맥스 위험을 지배하는 정확한 스펙트럼 상수를 규명한다. 이 상수는 스타인 공분산 연산자 $C_\star$의 힐베르트-슈미트(Hilbert-Schmidt) 노름으로, 미니맥스 스케일은 $\sqrt{\|C_\star\|_{\mathrm{HS}}/n}$로 주어진다. 이 스케일은 양의 부분 제곱근 U-통계량에 의해 달성되는 반면, 표준 플러그인 V-통계량은 트레이스 스케일 $\sqrt{\operatorname{tr}(C_\star)/n}$에 머물러 $C_\star$의 유효 랭크의 네제곱근 인수만큼 준최적이다. 고정 대역폭 가우시안 커널을 사용하는 가우시안 목표 분포의 경우, 이 인수는 차원에 대해 지수적으로 증가한다.

arXiv:2602.17894v2stat.ML공통 태그 parameter estimation, minimax estimation

편향되고 비용이 높은 데이터 소스로부터의 학습: 예산 제약 하 미니맥스 최적 데이터 수집

Learning from Biased and Costly Data Sources: Minimax-optimal Data Collection under a Budget

데이터 수집은 현대 통계 및 기계학습 파이프라인의 핵심 구성 요소이며, 특히 관심 대상인 목표 모집단을 연구하기 위해 여러 이질적인 소스로부터 데이터를 수집해야 할 때 더욱 그렇다. 의학 연구나 정치 여론조사와 같은 많은 사용 사례에서 서로 다른 소스는 서로 다른 표본 추출 비용을 발생시킨다. 관측값에는 종종 관련된 집단 정체성이 부여되며—예를 들어 건강 지표, 인구통계학적 특성, 또는 정치적 성향—이러한 집단의 상대적 구성은 소스 모집단들 사이에서뿐만 아니라 소스와 목표 모집단 사이에서도 크게 달라질 수 있다. 본 연구에서는 고정 예산 하 다중 소스 데이터 수집을 연구하며, 모집단 평균 및 집단 조건부 평균의 추정에 초점을 맞춘다. 우리는 단순한 데이터 수집 전략(예: 목표 분포를 "맞추려" 시도하는 것)이나 표준 추정량(예: 표본 평균)에 의존하는 것이 매우 차선책일 수 있음을 보인다. 대신, 우리는 유효 표본 크기—총 표본 크기를 $D_{χ^2}(q\mid\mid\overline{p}) + 1$로 나눈 값—를 최대화하는 표본 추출 계획을 개발한다. 여기서 $q$는 목표 분포, $\overline{p}$는 집계된 소스 분포, $D_{χ^2}$는 $χ^2$-발산이다. 우리는 이 표본 추출 계획을 고전적인 사후층화(post-stratification) 추정량과 짝지어 그 위험(risk)의 상계를 구한다. 우리는 대응하는 하계를 제공하여, 우리의 접근법이 예산 제약 하 미니맥스 최적 위험을 달성함을 확립한다. 우리의 기법은 초과 위험(excess risk)을 최소화하는 예측 문제로도 확장되며, 비용이 높고 이질적인 데이터 소스를 사용한 다중 소스 학습에 대한 원칙적인 접근법을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.