arXiv:2609.36142v2 stat.ME

코퓰라 능동 부분공간 I: 축소 차수 비가우시안 밀도 추정을 위한 스코어-공분산 방법

Copula Active Subspaces I: A Score-Covariance Method for Reduced-Order Non-Gaussian Density Estimation

Joshua Chen, Peter Jan van Leeuwen

제출 2026-09-28

저자 비고

arXiv Comments

26 pages, 5 figures; supplementary materials 15 pages. Submitted to the SIAM/ASA Journal on Uncertainty Quantification. Code: https://github.com/joshuawchen/copula_active_subspaces (tag v1.0-part1). v2: Theorem 2.2 stated as the bound of Zahm et al. with a short proof, relation of Stage 1 to score ratio matching, corrected normalizer range in Appendix G

한국어 초록

비가우시안 관측 잡음(observation noise)을 갖는 베이지안 추론(Bayesian inference) 문제에서, 사후분포(posterior)의 정확도는 잡음 밀도의 정확도에 의해 결정되며, 그래디언트 기반 샘플러(gradient-based sampler)는 명시적 표현식이든 코드이든 내부 해(inner solve) 없이 이 밀도와 그 그래디언트를 점별로(pointwise) 계산할 수 있어야 한다. 우리는 이러한 잡음 밀도를 표현하기 위해 코퓰라 능동 부분공간(Copula Active Subspaces, CAS)을 제안한다. 성분별 순위 변환(componentwise rank transform)은 잡음 법칙의 의존성을 해당 코퓰라(copula) 안에 분리해내며, 랭크-$r$ 축소(rank-$r$ reduction)는 그 의존성이 변화하는 방향만을 유지한다. 이러한 방향은 코퓰라 스코어 공분산(copula score covariance) $\boldsymbol{C} := \mathrm{Cov}_{π_{\boldsymbol{Z}}}(\nabla\log c^{Z})$의 선도 고유벡터(leading eigenvector)이며, 이것이 바로 이 축소를 코퓰라 능동 부분공간으로 만드는 요인이다. $\boldsymbol{C}$는 좌표들이 독립일 때 0이 되므로, 이 방향들은 의존성의 방향이며, 데이터의 공분산만으로는 식별될 필요가 없다. 이 구성으로부터 명시적 상수 $\tfrac{1}{2}$를 갖는 가우시안 기준(Gaussian-reference) KL 발산(KL divergence) 상한이 도출되며, 이는 모든 랭크-$r$ 축소 중에서 바로 이 고유공간(eigenspace)에 의해 최소화된다; 또한 표본만으로 계산 가능한, 축소가 남기는 오차에 대한 진단 지표(diagnostic)가 도출되며; 에르미트 스코어 매칭(Hermite score matching)으로부터는 절단 차수(truncation order)와 2단계(Stage-2) 정규화 상수를 검증 표본(validation sample)에서 선택한, 폐쇄형(closed form)의 축소된 로그밀도(log-density)와 그 그래디언트가 도출된다. 이 축소는 $d$차원 밀도 추정 문제를 $r$차원 문제로 대체한다. $d=20$ 잡음 법칙과 그 잡음을 갖는 베이지안 추론 문제에서, CAS는 가우시안-코퓰라(Gaussian-copula), 주변분포의 곱(product-of-marginals), PCA 부분공간(PCA-subspace) 기준선(baseline) 대비 잡음 KL 발산을 5배 이상, 사후분포 KL 발산을 7배 이상 낮추며, 추가적인 두 개의 $d=20$ 예제에서는 잡음 KL 발산을 각각 약 $3.5$배와 $2.7$배 낮춘다.

원문 초록

In Bayesian inference problems with non-Gaussian observation noise, the posterior is only as accurate as the noise density, and gradient-based samplers need that density and its gradient evaluable pointwise, whether from an explicit expression or from code, and without an inner solve. We propose Copula Active Subspaces (CAS) to represent this noise density. A componentwise rank transform isolates the noise law's dependence in its copula, and a rank-$r$ reduction keeps only the directions along which that dependence varies. These directions are the leading eigenvectors of the copula score covariance $\boldsymbol{C} := \mathrm{Cov}_{π_{\boldsymbol{Z}}}(\nabla\log c^{Z})$, which is what makes the reduction a copula active subspace. Because $\boldsymbol{C}$ vanishes when the coordinates are independent, these are directions of dependence, which the covariance of the data need not identify. From this construction follow a Gaussian-reference KL divergence bound with the explicit constant $\tfrac{1}{2}$, minimized over all rank-$r$ reductions by exactly this eigenspace; a diagnostic for the error the reduction leaves behind, computable from the samples alone; and, from Hermite score matching, a reduced log-density and gradient in closed form, with the truncation orders and the Stage-2 regularization constants chosen on validation samples. The reduction replaces a $d$-dimensional density estimation problem by an $r$-dimensional one. On a $d=20$ noise law and a Bayesian inference problem with that noise, CAS lowers noise KL divergence more than fivefold and posterior KL divergence more than sevenfold against Gaussian-copula, product-of-marginals, and PCA-subspace baselines, and lowers noise KL divergence by factors of about $3.5$ and $2.7$ on two further $d=20$ examples.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.36142v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.