$\ell_p$ 노름 하에서 heavy-tailed 평균 추정의 상전이
Phase Transitions in Heavy-Tailed Mean Estimation under $\ell_p$ Norms
한국어 초록
공분산 행렬의 존재만을 가정하고 $\mathbb R^d$ 상의 확률벡터의 평균을 $\ell_p$ 노름 하에서 추정하는 문제를 연구한다. 유클리드 노름에서는 표본평균이 이미 기댓값 기준으로 최적이며, 강건 추정량은 대개 고확률 꼬리 경계를 얻기 위해서만 필요하다. 본 연구 결과는 $p>2$인 $\ell_p$ 노름에서는 이러한 상황이 달라져, 기대 위험에 대해서도 강건화가 필요함을 보여 준다. 표본 크기 $n$, 차원 $d$, 노름 매개변수 $p$ 간의 상호작용에 의해 결정되는 민맥스 위험의 급격한 상전이가 존재함을 증명한다. 표본이 큰 영역에서는 고전적인 가우시안 속도를 여전히 달성할 수 있다. 그 보완 영역에서는 heavy-tailed 분포가 진정한 의미의 비가우시안 장애물을 만든다. 나아가 버킷 수를 손실의 기하에 따라 선택하는 좌표별 median-of-means라는 단순한 추정량이 기대 위험 민맥스에서 이 상전이를 최적으로 추적함을 보인다. 또한 일반 노름에 대한 자연스러운 사영 기반 median-of-means 추정량은 Lugosi와 Mendelson(Probab. Theory Relat. Fields, 2019)의 표본평균 기준 대비 최적의 신뢰도 절충을 달성함에도 불구하고, $\ell_p$ 노름에서는 상수 확률 영역에서조차 다항적으로 차선일 수 있음을 보인다.
원문 초록
We study the problem of estimating the mean of a random vector in $\mathbb R^d$ under $\ell_p$ norms, assuming only the existence of a covariance matrix. In the Euclidean norm, the sample mean is already optimal in expectation, and robust estimators are usually needed only to obtain high-probability tails. Our results show that this picture changes for $\ell_p$ norms with $p>2$: robustification is already necessary even for the expected risk. We prove that the minimax risk exhibits a sharp phase transition, controlled by the interaction between the sample size $n$, the dimension $d$, and the norm parameter $p$. In the large-sample regime, the classical Gaussian rate remains achievable. In the complementary regime, heavy-tailed distributions create a genuinely non-Gaussian obstruction. Furthermore we show that the simple estimator: coordinate-wise median of means whose number of buckets chosen according to the geometry of the loss, optimally tracks this phase transition in its expected risk minimax. We also show that natural projection-based median-of-means estimators for general norms, despite achieving the optimal confidence trade-off relative to the sample-mean benchmark of Lugosi and Mendelson (Probab. Theory Relat. Fields, 2019), can be polynomially suboptimal for $\ell_p$ norms even in the constant-probability regime.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at NeurIPS 2026