Stable Global Weighting of Flow Mixtures using Simplex Exponential Moving Average
한국어 초록
정규화 플로우(Normalising flows)는 근사 추론을 위한 강력한 변분 패밀리를 제공하지만, 개별 아키텍처는 이질적인 사후 분포 기하에 대해 일반화하지 못하는 경우가 많다. 본 연구에서는 혼합 기반 플로우 공식화를 재검토하고, 단순체 지수 이동 평균(Simplex Exponential Moving Average, sEMA) 업데이트에 기반한 안정적 전역 가중치 메커니즘을 갖춘 2단계 프레임워크인 AMF-VI-sEMA를 소개한다. 1단계에서는 이질적인 전문가 집합(RealNVP, MAF, RBIG)을 독립적으로 학습하여 서로 다른 구조적 체계에 특화시킨다. 2단계에서는 전문가 파라미터를 고정한 채, 평균 로그-우도의 온도 제어 소프트맥스를 통해 전역 혼합 가중치를 학습하고, 확률 단순체 위에서 부드러운 EMA 업데이트를 적용한다. 이 설계는 샘플별 게이팅이나 가중치에 대한 그래디언트 역전파 없이도 적응적으로 용량을 재분배하면서 컴포넌트 붕괴를 방지하는, 다루기 쉽고 데이터에 무관한 게이팅 메커니즘을 만들어낸다. 우리는 열 가지 사후 벤치마크에서 프레임워크를 평가한다: 6개의 정형화된 2D 합성 패밀리(Banana, X-Shaped, Bimodal, Multimodal, Two-moons, Rings)와 4개의 실제/저차원 베이지안 타겟(BLR, BPR, Weibull, Real-GMM2)이며, 더 강력한 기준선(NICE, ResFlow, EM-Mixing)과 비교한다. 종합적인 평가는 NLL, KL 발산, Wasserstein-2 거리, MMD를 포함하며, 혼합 동역학, 하이퍼파라미터 민감도, 시드 교차 견고성에 대한 진단도 함께 수행한다. 실험적으로, AMF-VI-sEMA는 전작인 AMF-VI 대비 일관된 NLL 개선을 달성하고, 단일 플로우 기준선의 치명적 전송 실패를 회피하면서, 최소한의 계산 오버헤드로 안정적인 가중치 궤적($N_{\mathrm{eff}}{>}1.4$, 모든 데이터셋)을 유지한다.
원문 초록
Normalising flows provide a powerful variational family for approximate inference, yet individual architectures often fail to generalise across heterogeneous posterior geometries. We revisit mixture-based flow formulations and introduce \emph{AMF\mbox{-}VI\mbox{-}sEMA}, a two-stage framework featuring a \emph{stable global weighting} mechanism based on a \emph{Simplex Exponential Moving Average} (sEMA) update. In Stage~1, a heterogeneous set of experts (\textsc{RealNVP}, \textsc{MAF}, \textsc{RBIG}) are trained independently to specialise in distinct structural regimes. In Stage~2, expert parameters are frozen and global mixture weights are learned through a temperature-controlled softmax of average log-likelihoods, followed by a smooth EMA update on the probability simplex. This design produces a tractable, data-agnostic gating mechanism (without per-sample gating or gradient backpropagation through weights) that adaptively reallocates capacity while avoiding component collapse. We evaluate the framework on ten posterior benchmarks: six canonical 2D synthetic families (Banana, X-Shaped, Bimodal, Multimodal, Two-moons, Rings) and four real/low-dimensional Bayesian targets (BLR, BPR, Weibull, Real-GMM2), with stronger baselines (\textsc{NICE}, \textsc{ResFlow}, and EM-Mixing). Comprehensive evaluation covers NLL, KL divergence, Wasserstein-2 distance, and MMD, together with diagnostics of mixture dynamics, hyperparameter sensitivity, and cross-seed robustness. Empirically, \emph{AMF\mbox{-}VI\mbox{-}sEMA} achieves consistent NLL improvements over its predecessor \emph{AMF\mbox{-}VI} and avoids the catastrophic transport failures of single-flow baselines, while maintaining stable weight trajectories ($N_{\mathrm{eff}}{>}1.4$ on all datasets) with minimal computational overhead.
요약
이질적인 사후 분포 기하에 단일 정규화 플로우(Normalising Flow)가 일반화하지 못하는 문제를 해결하기 위해, AMF-VI-sEMA는 RealNVP, MAF, RBIG 전문가를 독립적으로 학습한 뒤 단순체 지수 이동 평균(sEMA) 기반의 전역 가중치 메커니즘으로 혼합 가중치를 안정적으로 적응시키는 2단계 프레임워크를 제안한다. 10개의 사후 벤치마크 평가에서 선행 모델 AMF-VI 대비 일관된 NLL 개선을 달성하고, 컴포넌트 붕괴 없이 안정적인 가중치 궤적($N_{\mathrm{eff}}{>}1.4$)을 유지함을 실증적으로 보인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.03809v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 경로를 이용한 마르코프 연쇄 몬테카를로
Markov Chain Monte Carlo with Diffusion Paths
다중 모드 분포(multimodal distribution)로부터의 샘플링은 고전적인 로컬 마르코프 연쇄 몬테카를로(MCMC) 방법에서 오랜 난제였다. 널리 쓰이는 해결책은 목표 분포와 더 단순한 참조 분포 사이를 보간하는 중간 분포 시퀀스를 도입하는 것이다. 고전적인 방법인 템퍼링(tempering)은 밀도를 거듭제곱으로 올리지만, 비대칭 모드들의 상대적 가중치를 왜곡하고 혼합 성능을 저하시킬 수 있다. 이에 대한 대안으로, 우리는 목표 분포를 가우시안으로 이끄는 노이징 확산 과정의 주변 분포인 확산 경로(diffusion path)를 따라 보간하는 방법을 제안한다. 이 경로는 모드들의 상대적 가중치를 보존하며 유리한 혼합 특성을 지니는데, 이를 대응하는 이상적인 전이 커널의 스펙트럴 갭(spectral-gap) 분석을 통해 엄밀히 밝힌다. 경로를 따른 샘플링에는 중간 스코어(intermediate score)가 필요하며, 이는 비정규화 목표 분포로부터 변분적(variational) 접근법을 통해 추정할 수 있어 근사 샘플러만 얻어진다. 이로 인한 바이어스를 제거하기 위해, 우리는 메트로폴리스-보정 확산 경로(MAD-Path) 샘플러를 도입한다. 이 샘플러는 증강된 경로 공간(augmented path space)에서 확산 경로 제안을 보정하며, 학습된 스코어의 정확도나 이산화 오류와 무관하게 목표 분포를 불변으로 유지한다. 또한 이 두 오류가 수락 확률에 미치는 영향을 정량화하여 실용적인 튜닝을 위한 지침을 제공한다. 다양한 베이지안 사후 분포(Bayesian posterior)에 대한 실험에서 MAD-Path는 템퍼링 기반 MCMC 방법 및 비보정 확산 샘플러에 비해 전역 탐험과 모드 가중치 추정을 개선함을 보여준다.
Riesz 커널 Stein 변분 경사하강법: 재정규화 엔트로피와 장시간 입자 극한
Riesz-Kernel Stein Variational Gradient Descent: Renormalized Entropy and Long-Time Particle Limits
Stein 변분 경사하강법(SVGD)은 결정론적 커널화 동역학을 통해 상호작용하는 입자들을 목표 분포로 수송한다. 특이 Riesz 커널은 정량적인 모집단 수준의 수렴을 제공할 수 있어 매력적이지만, 유한 입자 수준에서는 대응하는 Stein 에너지가 무한 자기 상호작용을 갖는다. 우리는 자기 상호작용을 제거한 주기적 Riesz SVGD를 연구하고, 다중 입자·장시간 샘플링 정리를 증명한다. 특이 Stein 에너지가 국소 적분 가능한 전체 구간에서, 입자당 초기 상대 엔트로피에 대한 균일 상한 하에서, 시간 평균 경험적 측도 법칙은 입자 수와 발산하는 평균화 시간 구간이 무한대로 갈수록 목표에서의 점질량 \(δ_π\)로 약수렴한다. 또한 유한 상대 엔트로피를 갖는 불변 입자 법칙이 유도하는 경험적 측도 법칙이 균일 엔트로피 상한 없이 \(δ_π\)로 약수렴함을 보인다. 로그 특이 임계값 아래에서는 명시적 대수적 유한 입자 오차 상한을 얻는다. 이러한 결과는 매끄러운 커널 SVGD에 대한 공동 엔트로피 접근법을 특이 상호작용으로 확장한다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
베이즈 역문제에서 빠른 사후분포 샘플링을 위한 플로우 매칭
Flow Matching for Fast Posterior Sampling in Bayesian Inverse Problems
모델 프리 베이지안 클러스터링 및 다봉 사후분포 요약
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
본 논문에서는 예측 베이지안(predictive Bayesian) 관점에서 클러스터링에 대한 마팅게일 사후분포(martingale posterior)를 구성하는 모델 프리(model-free) 노이즈 인식 베이지안 클러스터링 프레임워크를 개발합니다. 이 방법은 명시적인 가능도(likelihood)-사전분포 모델 명시, 비용이 큰 MCMC 샘플링, 모드 탐색적 변분 근사를 피하는 동시에 불규칙한 클러스터 형태를 수용하고 사후분포 표본의 병렬 생성을 가능하게 합니다. 고차원 노이즈 인식 클러스터링에 대한 사후분포를 해석하기 위해 와서스테인(Wasserstein) 유형의 요약 방법을 도입합니다. 새로운 노이즈 인식 손실(loss)을 활용하여 대규모 사후분포 표본 집합을 소수의 가중치 기반 대표 집합으로 압축함으로써 서로 다른 클러스터 구조와 노이즈 할당을 포착합니다. 또한 밀도 수준의 불확실성을 주변화(marginalize)하여 특정 선택에 의존하지 않도록 합니다. 제안된 손실의 이론적 성질과 수준 주변화 사후분포 근사에 대한 보장을 규명합니다. 실험 결과는 클러스터링 및 노이즈 불확실성을 포착하는 데 있어 본 프레임워크의 효과성을 입증합니다.
비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론
Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields
잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.