Independent Metropolis의 분산 감소
Variance Reduction for Independent Metropolis
한국어 초록
처리하기 어려운(intractable) 밀도 $\pi$에 대해 함수 $F$의 기댓값을 추정하고자 한다고 가정한다. $\pi$는 알려지지 않은 정규화 상수(normalising constant)까지 포함하여 주어진다. $\pi$가 KL 발산(KL divergence) 관점에서 다른 밀도 $q$에 충분히 가깝다면, 제안 밀도(proposal density) $q$로 $\pi$에서 샘플을 얻는 independent Metropolis 샘pler 추정량이 control variates에 기반한 분산 감소(variance reduction) 계산 전략으로 보강되었을 때, $\pi$로부터의 i.i.d. 샘pling보다 더 작은 점근 분산(asymptotic variance)을 달성함을 증명한다. control variates 구성은 추가 계산 부담을 요구하지 않지만, $q$ 하에서 $F$의 기댓값을 해석적으로 구할 수 있다고 가정한다. 사전-가능도 충돌(prior-likelihood conflict)과 비켤레(non-conjugate) 사전을 갖는 선형 회귀 모델에서 주변 가능도(marginal likelihood)를 계산하여 이 결과를 설명한다. 또한 목표(target)와의 KL 발산이 줄어들도록 제안 밀도를 적응시키는 adaptive independent Metropolis 알고리즘을 제안한다. 베이지안 로지스틱 회귀 및 가우시안 프로세스 회귀 문제에서 적용 가능성을 보이고, 쉽게 검증 가능하고 본질적으로 최소인 조건 하에서 점근적 논거를 엄밀하게 정당화한다.
원문 초록
Assume that we would like to estimate the expected value of a function $F$ with respect to an intractable density $\pi$, which is specified up to some unknown normalising constant. We prove that if $\pi$ is close enough under KL divergence to another density $q$, an independent Metropolis sampler estimator that obtains samples from $\pi$ with proposal density $q$, enriched with a variance reduction computational strategy based on control variates, achieves smaller asymptotic variance than i.i.d. sampling from $\pi$. The control variates construction requires no extra computational effort but assumes that the expected value of $F$ under $q$ is analytically available. We illustrate this result by calculating the marginal likelihood in a linear regression model with prior-likelihood conflict and a non-conjugate prior. Furthermore, we propose an adaptive independent Metropolis algorithm that adapts the proposal density such that its KL divergence with the target is being reduced. We demonstrate its applicability in a Bayesian logistic and Gaussian process regression problems and we rigorously justify our asymptotic arguments under easily verifiable and essentially minimal conditions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2406.17699v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
분산 감소를 적용한 변환 기반 샘플러
Transformed Samplers with Variance Reduction
마르코프 연쇄 몬테카를로(MCMC) 방법은 복잡한 확률 분포에서 기댓값을 계산하기 위한 표준적인 도구입니다. 제어 변량(control variate)은 이를 통해 얻은 추정치의 분산을 줄여주지만, 좋은 제어 변량을 얻으려면 샘플러의 포아송 방정식(Poisson equation)을 풀어야 하며 이는 닫힌 형태의 해(closed-form solution)를 갖는 경우가 드뭅니다. 단순한 참조 밀도(reference density) 상에서 샘플러의 커널(kernel)에 대한 스펙트럼 분해(spectral decomposition)가 알려져 있을 때는 정확한 해를 구할 수 있습니다. 본 연구에서는 학습된 변수 변환(change of variables)을 통해 이러한 해를 일반적인 목표 분포로 확장합니다. 목표 분포가 잠재 공간(latent space)에서 참조 분포와 가까워지도록 정규화 흐름(normalizing flow)과 같은 전단사 함수(bijection)를 학습시키며, 마르코프 커널과 해당 포아송 해가 임의의 전단사 함수에 의해 변환됨을 보입니다. 이어 이러한 샘플러를 잠재 공간에서 실행하면 명시적인 제어 변량이 도출되며, 사상(map)과 목표 분포에 대한 온건한 꼬리 조건(mild tail conditions) 하에서 추정량의 일치성(consistency)이 보장됩니다. 흐름(flow) 기반의 중요도 샘플링(IS)은 동일한 구조의 극한 사례(limiting case)이며, 제어 변량은 이 경우에도 동일하게 적용됩니다. 합성 목표 분포 및 실제 사후 분포(posterior)를 대상으로 한 실험을 통해 본 절차를 최신 샘플러 및 제어 변량과 비교합니다.
복소 Helmholtz 파동장을 위한 연산자 정보 가우시안 프로세스: 합성 벤치마크에서 생체 뇌 탄성영상까지
Operator-Informed Gaussian Processes for Complex Helmholtz Wavefields: From Synthetic Benchmarks to In Vivo Brain Elastography
Helmholtz 방정식은 시간-조화 파동 전파를 지배하며, 감쇠 매질에서는 복소 탄성 계수로 인해 파수의 제곱 $κ^2$가 복소수가 된다. 희소하고 노이즈가 많은 데이터로부터 이러한 장을 추론하려면 자신의 불확실성까지 정량화하는 솔버가 필요하다. 물리 정보 가우시안 프로세스(GP) 회귀는 해에 대한 사후분포를 반환함으로써 이를 제공하지만, 연산자 조건 공식화는 거의 전적으로 실수값 장에 대해서만 개발되어 왔다. 우리는 복소 연산자를 등가의 결합된 실수 블록으로 실수화(realify)함으로써 연산자 정보 GP 회귀를 복소값 Helmholtz 문제로 확장하고, 이를 통해 표준 실수값 GP 조건화로 추론을 가능하게 한다. 이 구성은 적절한(proper) 대각 사전분포부터 공영역화(coregionalized) 및 다중 스케일 변형까지 일련의 사전분포를 허용하며, PDE 잔차와 경계 trace에 조건을 건다. 1차원에서 3차원까지의 벤치마크 문제에서, 이 솔버는 훨씬 작은 내부 제약 예산(interior-constraint budget)으로 유한차분법 및 신경망 베이스라인과 경쟁력을 보인다. 그러한 확정적 베이스라인과 달리, 점 추정이 아니라 복소 파동장에 대한 사후분포를 반환한다. 생체(in vivo) 뇌 자기공명 탄성영상에 적용하면, 적절한 다중 스케일 사전분포가 전단 curl 장을 측정값과 상관계수 0.77로 재구성하여 0.75 목표를 넘는다. 이 성능 향상은 실수-허수 결합이 아니라 다중 스케일 커널에서 비롯된다. 또한 모델 불일치(model mismatch)에 의해 설정된 저주파 정확도 상한과 아직 보정되지 않은 사후 불확실성을 확인한다. 따라서 보정된 불확실성은 감쇠 매질에서 확률적 파동장 추론을 위한 핵심 다음 단계로 부상한다.
미분 방정식에 대한 가우시안 프로세스 근사의 통합적 관점
A unified perspective of Gaussian process approximation for differential equations
미분 방정식을 근사하기 위한 가우시안 프로세스의 활용이 빠르게 확대되면서, 점점 증가하고 다양하며 파편화된 수치적 방법론들이 형성되고 있다. 우리는 도함수 매칭 해석에 기반하여 미분 방정식 제약을 가능도에 통합하는 방식으로, 이러한 기법들을 공통의 확률적 프레임워크 내에 위치시키는 통합된 베이지안 관점을 제시한다. 이 통합적 관점은 매개변수 추정과 해 근사를 모두 지원하며, 다양한 기존 방법론들이 이 관점 내에서 어떻게 이해될 수 있는지를 보여준다. 본 연구는 현재의 발전 내용을 집약하고 향후 연구를 위한 기반을 마련하는 것을 목표로 한다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.
제약 조건 하의 확률론적 수치해석: 선형 부등식 제약 조건 하의 선형 편미분방정식을 위한 가우시안 프로세스 솔버
Constrained Probabilistic Numerics: Gaussian Process Solvers for Linear PDEs under Linear Inequality Constraints
선형 편미분방정식(PDE)을 위한 가우시안 프로세스(Gaussian process) 솔버는 점 추정치 대신 사후확률을 반환하지만, PDE 잔차, 경계 데이터, 측정값과 같은 등식 정보에 대해서만 조건부화(conditioning)를 수행합니다. 그러나 관심을 두는 많은 해는 비음수성(nonnegativity), 단조성(monotonicity), 무차익(absence of arbitrage)을 포함한 부등식 제약을 따르며, 등식 조건부화만으로는 이를 강제할 수 없습니다. 본 연구에서는 가우시안 프로세스 사전확률을 선형 등식 관측값과 유한차원 부등식 사건에 결합하여 조건부화하는 것이, 해 공간 상의 보렐 측도(Borel measure) 관점에서 순차적으로 조건부화하는 것과 동등함을 증명합니다. 따라서 물리 정보가 반영된(physics-informed) 사후확률은 가상 지점에서의 부등식 업데이트를 위한 유효한 사전확률이 됩니다. 결합 법칙은 비가우시안(non-Gaussian)이지만 절단 정규분포(truncated-Gaussian) 모멘트를 통해 계산 가능하며, PDE 조건부화와 부등식 업데이트 모두 수정할 필요가 없습니다. 본 연구진은 포아송(Poisson) 벤치마크, 옵션 가격 표면, 대기질 필드에서 이 구성을 평가했습니다. 불완전한 경계 데이터 조건에서, 단조성 제약 조건은 2차원 포아송 재구성의 오차를 $63\%$ 낮췄습니다. 20개의 호가만 남기도록 축소한 실제 S&P 500 옵션 체인에서, 무차익 제약 조건은 홀드아웃 외삽 오차를 $22\%$ 줄였고 캘린더 차익 비율을 $10\%$에서 $1\%$로 낮췄습니다. 네 가지 실제 대기질 스냅샷에서는, 관측소 수가 가장 희소할 때 비음수성 제약이 가우시안 모멘트 기반 음수 꼬리 프록시(sub-zero-tail proxy)를 $74\%$ 감소시켰습니다. 평균 정확도 및 제약 진단 수치의 변화는 데이터 체제에 따라 다르게 나타났습니다. 등식 사후확률 하에서 노이즈가 포함된 가상 제약 사건의 확률은 업데이트 전 지정된 경계와의 일치도를 측정합니다. 이러한 구성은 허용 가능성(admissibility)을 사후 처리 단계에서 확률론적 PDE 솔버를 위한 조건부 정보로 전환합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.