베이즈 혼합 모델을 위한 빠른 비가역 샘플러
A fast non-reversible sampler for Bayesian mixture models
한국어 초록
혼합 모델(mixture model)은 베이즈 모델링(Bayesian modelling)의 핵심 요소이며, 그로부터 얻어지는 사후 분포(posterior distribution)에서 샘플링하는 것이 어려운 과제임은 잘 알려져 있다. 특히, 널리 쓰이는 가역(reversible) 마르코프 연쇄 몬테카를로(Markov chain Monte Carlo) 기법들은 관측치 수 $n$이 클 때 수렴 속도가 느린 경우가 많다. 본 논문에서는 (구성 요소 수가 고정되었거나 가변적인) 베이즈 혼합 모델을 위한 새롭고 단순한 비가역(non-reversible) 샘플링 기법을 소개하며, 이 기법이 많은 주요 시나리오에서, 특히 수렴 단계 동안과 혼합 모델의 구성 요소들이 무시할 수 없을 정도로 겹칠 때 기존 샘플러들을 크게 능가함을 보인다. 이론적 측면에서는, 제안된 비가역 기법의 점근 분산(asymptotic variance) 기준 성능이 표준 기법보다 4배 이상 나빠질 수 없음을 보이며, 스케일링 극한(scaling limit) 분석을 통해 비가역 샘플러가 수렴 시간을 O$(n^2)$에서 O$(n)$으로 줄일 수 있음을 시사한다. 또한 혼합 모델의 통계적 특성이 왜 비가역 이산 샘플러(discrete sampler) 사용에 이상적인 사례인지도 논의한다.
원문 초록
Mixtures models are a cornerstone of Bayesian modelling, and it is well-known that sampling from the resulting posterior distribution can be a hard task. In particular, popular reversible Markov chain Monte Carlo schemes are often slow to converge when the number of observations $n$ is large. In this paper we introduce a novel and simple non-reversible sampling scheme for Bayesian mixture models (with fixed or varying number of components), which is shown to drastically outperform classical samplers in many scenarios of interest, especially during convergence phase and when components in the mixture have non-negligible overlap. At the theoretical level, we show that the performance of the proposed non-reversible scheme cannot be worse than the standard one, in terms of asymptotic variance, by more than a factor of four; and we provide a scaling limit analysis suggesting that the non-reversible sampler can reduce the convergence time from O$(n^2)$ to O$(n)$. We also discuss why the statistical features of mixture models make them an ideal case for the use of non-reversible discrete samplers.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.