arXiv:2606.12720v1 math.PR

엔트로피의 근사 텐서화를 통한 의존성 하에서의 McDiarmid 부등식에 관하여

On McDiarmid's Inequality under Dependence via Approximate Tensorization of Entropy

Valentin Roth

제출 2026-06-10

한국어 초록

우리는 McDiarmid 부등식의 의존성 버전들이 수리 통계, 학습 이론 및 이론 컴퓨터 과학에서 유용하지만 활용도가 낮은 도구임을 논증합니다. 이를 입증하기 위해, 먼저 엔트로피의 근사 텐서화(ATE)가 엔트로피 방법(Entropy Method)을 통해 McDiarmid 부등식을 함의함을 강조합니다. 둘째, 우리는 $Σ$의 조건수(condition number) 차수의 상수를 갖는 ATE를 통해 비등방 가우시안 랜덤 벡터 $X \sim \mathcal N(μ, Σ)$에 대한 McDiarmid 부등식을 도출합니다. 우리는 확률적 국소화(stochastic localization)의 단순한 적용을 통해 이 ATE를 독립적으로 도출하였으며, 또한 Ascolani et al., 2026의 기브스 샘플러(Gibbs sampler)에 대한 더 일반적인 ATE가 강한 로그-오목(strongly log-concave) 및 로그-매끄러운(log-smooth) 확률 측도에 대한 McDiarmid 유형의 집중을 어떻게 일반화하는지 논의합니다. 이어서 우리는 도출된 집중 부등식을 적용하여 Simone Bombari가 제기한 $\operatorname{sign}(X)$의 집중에 대한 질문을 해결하고, 의존성 하에서의 Erdős-Rényi 그래프를 조사하며, ATE를 만족하고 연속적인 주변 누적 분포 함수(CDF)를 갖는 결합 측도에서의 관측치에 대한 Dvoretzky-Kiefer-Wolfowitz 유형의 부등식을 증명합니다. 강한 로그-오목 및 로그-매끄러운 측도의 클래스에 대해, 이 결과는 약한 의존성 하에서 $n^{-1/3}$ 대신 기대되는 $1/\sqrt{n}$ 수렴 속도를 확립함으로써, Bobkov와 Götze(2010)의 비독립 동일 분포(non-i.i.d.) 관측치에 대한 기존 Dvoretzky-Kiefer-Wolfowitz 유형의 부등식을 개선합니다.

원문 초록

We argue that dependent versions of McDiarmid's inequality are a useful but underutilized tool in mathematical statistics, learning theory and theoretical computer science. To make this point, we first highlight that approximate tensorization of entropy (ATE) implies McDiarmid's via the Entropy Method. Second, we derive McDiarmid's inequality for non-isotropic Gaussian random vectors $X \sim \mathcal N(μ, Σ)$ through ATE with a constant of the order of the condition number of $Σ$. We both independently obtain this ATE through a simple application of stochastic localization and also discuss how a more general ATE for the Gibbs sampler due to Ascolani et al., 2026 generalizes McDiarmid's-like concentration to strongly log-concave and log-smooth probability measures. We then apply the resulting concentration inequalities to resolve a question on the concentration of $\operatorname{sign}(X)$ posed by Simone Bombari, investigate Erdős-Rényi graphs under dependence and prove a Dvoretzky-Kiefer-Wolfowitz-type inequality for observations from a joint measure fulfilling ATE and continuous marginal CDFs. For the class of strongly log-concave and log-smooth measures, this result improves upon a prior Dvoretzky-Kiefer-Wolfowitz-type inequality for non-i.i.d. observations due to Bobkov and Götze, 2010, by establishing the expected $1/\sqrt{n}$-rate of convergence under weak dependence instead of $n^{-1/3}$.

요약

엔트로피의 근사 텐서화(Approximate Tensorization of Entropy)를 통해 의존성이 있는 환경에서 McDiarmid 부등식을 도출하고, 이를 비등방 가우시안 벡터 및 강한 로그-오목 측도에 적용하여 집중 부등식을 확장했습니다. 이를 바탕으로 약한 의존성 하에서 Dvoretzky-Kiefer-Wolfowitz 유형의 부등식에 대한 수렴 속도를 기존 $n^{-1/3}$에서 $1/\sqrt{n}$으로 개선했습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12720v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.23295v1cs.LG공통 태그 Learning Theory, concentration inequalities

통계적 학습에서 최소 위험의 비점근적 추정

Non-asymptotic estimates of the minimal risk in statistical learning

본 논문에서는 통계적 학습(statistical learning)의 경험적 위험 원칙(Empirical Risk Principle, ERP)에서 두 종류의 오류 확률에 대한 농축 부등식(concentration inequalities)을 증명하며, 이는 최소 경험적 위험을 기준으로 최소 위험(minimal risk)의 하한과 상한을 비점근적(non-asymptotic) 고신뢰도로 제시한다. 경험적 위험 함수의 통상적인 유계(boundedness) 조건을 가우시안 또는 지수 적분 가능(integrability) 조건으로 완화하였다. 최소 위험 하한의 신뢰도는 학습 매개변수 수와 입력 벡터의 차원과 무관함이 밝혀져 학습기의 비효율(deficiency)을 효율적으로 검출할 수 있게 하며, 최소 위험 상한의 신뢰도는 표본 크기 $n$이 위험 함수와 연관된 Orlicz 메트릭 $d_{ψ_1}$에서 매개변수 집합 $Θ$의 box dimension보다 훨씬 클 때 높음이 증명된다. 본 연구는 Talagrand의 농축 부등식(Bousquet 및 Klein-Rio의 정밀(sharp) 버전), 수송-엔트로피 부등식(transport-entropy inequalities), 그리고 경험적 과정(empirical processes) 및 통계적 학습 이론의 최근 진전에 기초한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.