arXiv:2606.25265v1 cs.LG

Variational Inference via Entropic Transport Descent

Vincent Pacelli, Akash Ratheesh, Evangelos Theodorou

제출 2026-06-24

원문 초록

Particle-based variational inference (ParVI) methods approximate an intractable target distribution by evolving an ensemble of interacting samples. Existing approaches rely predominantly on kernel-based repulsion (e.g., SVGD), which suffers from variance collapse in high dimensions and mode collapse on multimodal targets -- pathologies caused by the absence of global transport structure. We introduce entropic transport descent (ETD), a ParVI family that frames each particle update as an entropy-regularized optimal transport problem. Derived from the JKO proximal scheme by lifting to the space of couplings and relaxing via the KL chain rule, each ETD iteration reduces to a Sinkhorn computation. The resulting transport plan provides global coordination, guiding each particle to nearby high-density proposals and naturally preserving multimodal structure. ETD can operate entirely score-free, requiring only pointwise evaluations of the unnormalized target density. Experiments on variance-collapse diagnostics, Bayesian logistic regression, neural networks, and molecular Boltzmann distributions show that ETD matches or outperforms SVGD, AGF-SVGD, and SGLD, with the largest gains in high-dimensional and multimodal settings.

요약

입자 기반 변분 추론(ParVI)에서 SVGD 같은 커널 기반 반발은 고차원 분산 붕괴와 다중모드(mode collapse)를 유발하는데, JKO 근위(proximal) 체계에서 유도한 엔트로피 최적 수송 하강(ETD)은 각 입자 갱신을 엔트로피 정규화 최적 수송 문제로 두고 Sinkhorn으로 풀어 전역 수송 구조로 다중모드를 보존한다. 정규화되지 않은 목표 밀도의 점별 평가만으로도 score-free로 동작하며, 베이지안 로지스틱 회귀·신경망·분자 Boltzmann 분포 등 실험에서 SVGD, AGF-SVGD, SGLD와 견주거나 우수하고, 특히 고차원·다중모드 설정에서 이득이 크다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.25265v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14527v1math.AP공통 태그 Bayesian Inference, Variational Inference, Density Estimation, Stochastic Optimization

Riesz 커널 Stein 변분 경사하강법: 재정규화 엔트로피와 장시간 입자 극한

Riesz-Kernel Stein Variational Gradient Descent: Renormalized Entropy and Long-Time Particle Limits

Stein 변분 경사하강법(SVGD)은 결정론적 커널화 동역학을 통해 상호작용하는 입자들을 목표 분포로 수송한다. 특이 Riesz 커널은 정량적인 모집단 수준의 수렴을 제공할 수 있어 매력적이지만, 유한 입자 수준에서는 대응하는 Stein 에너지가 무한 자기 상호작용을 갖는다. 우리는 자기 상호작용을 제거한 주기적 Riesz SVGD를 연구하고, 다중 입자·장시간 샘플링 정리를 증명한다. 특이 Stein 에너지가 국소 적분 가능한 전체 구간에서, 입자당 초기 상대 엔트로피에 대한 균일 상한 하에서, 시간 평균 경험적 측도 법칙은 입자 수와 발산하는 평균화 시간 구간이 무한대로 갈수록 목표에서의 점질량 \(δ_π\)로 약수렴한다. 또한 유한 상대 엔트로피를 갖는 불변 입자 법칙이 유도하는 경험적 측도 법칙이 균일 엔트로피 상한 없이 \(δ_π\)로 약수렴함을 보인다. 로그 특이 임계값 아래에서는 명시적 대수적 유한 입자 오차 상한을 얻는다. 이러한 결과는 매끄러운 커널 SVGD에 대한 공동 엔트로피 접근법을 특이 상호작용으로 확장한다.

arXiv:2610.13656v1stat.ML공통 태그 Bayesian Inference, Variational Inference, Stochastic Optimization

비가우시안 공간 장을 위한 확장 가능한 희소 자기회귀 변분 추론

Scalable Sparse Autoregressive Variational Inference for Non-Gaussian Spatial Fields

잠재 장 모델(Latent field model)은 공간 통계학에서 필수적이지만, 가우시안 프로세스(GP) 사전을 사용하더라도 가능도(likelihood)가 비가우시안(non-Gaussian)일 때마다 잠재 장의 사후 분포는 해석적으로 다루기 어렵습니다. 기존의 근사 기법들은 대규모 비가우시안 데이터셋에 적용하기에 너무 느리거나 지나치게 제약적입니다. 본 논문에서는 변분 족(variational family) 내에서 사전 분포의 희소 최근접 이웃 자기회귀 구조를 반영하고, 표현력을 위해 정규화 흐름(normalizing flow) 조건부 분포를 사용하며, 단일 공유 신경 조건화기(neural conditioner)를 통해 모든 변분 파라미터를 상각(amortize)하는 확장 가능한 변분 추론(variational inference) 프레임워크를 제안합니다. 축소된 조상 집합을 활용한 이중 확률적 최적화(doubly stochastic optimization)를 통해 반복(iteration)당 다항 로그 복잡도를 달성합니다.

arXiv:2609.27785v1q-fin.RM공통 태그 Density Estimation, Stochastic Optimization, optimal transport

준이산 최적 수송(Semi-Discrete Optimal Transport)을 통한 립시츠 연속성을 넘어선 금융 꼬리 위험 분석

Financial Tail Risk Beyond Lipschitz Continuity via Semi-Discrete Optimal Transport

금융 수익률은 두꺼운 꼬리(heavy-tailed) 분포를 따르며, 정확한 꼬리 위험 추정은 포트폴리오 리스크 관리의 핵심이다. 최신 신경망 생성 모델은 단순한 기저 분포를 학습된 사상(map)에 통과시켜 표본을 생성하며, 학습 안정성을 위해 이 사상은 립시츠(Lipschitz) 구성 요소로 만들어진다. 바로 이것이 결정적인 제약이다. 가우시안의 립시츠 사상은 서브가우시안(sub-Gaussian)이므로, 꼬리가 더 두꺼운 목표 분포는 어떠한 유한한 립시츠 상수에서도 정확 일치(exact match)를 이룰 수 없다. Monge–Ampère 방정식은 Brenier 사상의 국소적 왜곡을 밀도비 $f/(g\circ T)$와 연결하므로, 목표 밀도의 골이 깊을수록 더 높은 이득(gain)을 가진 사상이 필요하고 추정량의 분산도 더 커진다. 이 논증은 유계 왜곡(bounded distortion)만을 요구하므로, 정규화 플로(normalizing flow), 플로 매칭(flow matching), GAN, 확산(diffusion) 샘플러를 모두 포괄한다. 준이산 최적 수송(Semi-Discrete Optimal Transport, SDOT)은 소스의 꼬리 부류가 아니라 사상의 정則성(regularity)을 완화한다. SDOT의 파워 다이어그램(power diagram)은 학습 관측치마다 소스 측도의 정확히 $1/N$을 담는 셀을 부여하며, 꼬리 관측치는 사상을 늘려서가 아니라 셀 경계를 넘어 도달한다. 주요 실험에서는 첨도(kurtosis) 94에서 1,679에 이르도록 보정된 Merton 점프-확산(jump-diffusion) 모형의 심각도를 변화시키며 평가한다. SDOT는 꼬리 비율을 $0.85$--$0.94$로 유지하고 시드 간 표준편차도 $0.025$ 미만인 반면, 학습 기반 생성 모델은 모두 꼬리를 압축하거나, 그렇지 않으면 함께 커지는 분산과 함께 꼬리를 부풀린다. 추가 실험에서는 이 결과를 실제 S&P~500 수익률과 21년간의 백테스트로 확장하며, 여기서 SDOT는 CVaR 최적화 하에서 위험 조정 성과가 가장 우수한 시장중립 전략을 제공한다(샤프 비율 $0.70$, 최대 낙폭 $-2.60\%$이며, 차순위 생성 모델은 샤프 비율 $0.40$).

arXiv:2607.11631v2stat.CO공통 태그 Bayesian Inference, Variational Inference, Density Estimation

확산 경로를 이용한 마르코프 연쇄 몬테카를로

Markov Chain Monte Carlo with Diffusion Paths

다중 모드 분포(multimodal distribution)로부터의 샘플링은 고전적인 로컬 마르코프 연쇄 몬테카를로(MCMC) 방법에서 오랜 난제였다. 널리 쓰이는 해결책은 목표 분포와 더 단순한 참조 분포 사이를 보간하는 중간 분포 시퀀스를 도입하는 것이다. 고전적인 방법인 템퍼링(tempering)은 밀도를 거듭제곱으로 올리지만, 비대칭 모드들의 상대적 가중치를 왜곡하고 혼합 성능을 저하시킬 수 있다. 이에 대한 대안으로, 우리는 목표 분포를 가우시안으로 이끄는 노이징 확산 과정의 주변 분포인 확산 경로(diffusion path)를 따라 보간하는 방법을 제안한다. 이 경로는 모드들의 상대적 가중치를 보존하며 유리한 혼합 특성을 지니는데, 이를 대응하는 이상적인 전이 커널의 스펙트럴 갭(spectral-gap) 분석을 통해 엄밀히 밝힌다. 경로를 따른 샘플링에는 중간 스코어(intermediate score)가 필요하며, 이는 비정규화 목표 분포로부터 변분적(variational) 접근법을 통해 추정할 수 있어 근사 샘플러만 얻어진다. 이로 인한 바이어스를 제거하기 위해, 우리는 메트로폴리스-보정 확산 경로(MAD-Path) 샘플러를 도입한다. 이 샘플러는 증강된 경로 공간(augmented path space)에서 확산 경로 제안을 보정하며, 학습된 스코어의 정확도나 이산화 오류와 무관하게 목표 분포를 불변으로 유지한다. 또한 이 두 오류가 수락 확률에 미치는 영향을 정량화하여 실용적인 튜닝을 위한 지침을 제공한다. 다양한 베이지안 사후 분포(Bayesian posterior)에 대한 실험에서 MAD-Path는 템퍼링 기반 MCMC 방법 및 비보정 확산 샘플러에 비해 전역 탐험과 모드 가중치 추정을 개선함을 보여준다.

arXiv:2609.27976v2stat.ML공통 태그 Bayesian Inference, Density Estimation

연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계

Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity

Conformal Bayes는 베이즈 사후 예측 점수와 컨포멀 보정을 결합한다. 연속적 레이블 이동 하에서는 점수와 보정 가중치가 모두 알려지지 않은 응답 밀도비에 의존한다. 기존 방법은 보통 의사 레이블이나 예측 표본으로부터 단일 지수 틸트를 추정하여 이를 보정에 대입한다. 우리는 사전에 지정한 틸트 족에 대해 민감도 분석을 수행하는 Joint Tilt-Sensitivity Conformal Bayes(JTS-CB)를 제안한다. 각 틸트는 결합된 점수-가중치 쌍을 정의한다. 분할 절차인 JTS-SCB는 가중 절편 전용 분위수 회귀에서 틸트별 임계값 중 가장 큰 값을 취하여 결합 최소-최대 보정을 푼다. JTS-Union은 개별 임계값을 유지하여 JTS-SCB의 예측 집합에 포함되는 예측 집합을 산출한다. 두 방법 모두 설계상 보정 전용 가중치를 사용하며 일반적인 커버리지 보장은 없다. 또한 후보 가중 방식의 정확한 대응 방법도 연구한다. 0이 아닌 선형 지수 틸트는 어떤 것이든 그 예측 집합을 비유계로 만드는 반면, 콤팩트한 음의 이차 족은 가우시안 점수 하에서 유계인 정확한 합집합을 산출한다. 실용적 절차의 경우, 대체(fallback)를 포함한 국소화 보정은 틸트 족이 참 틸트를 포함할 때 명목 수준에서 목표 꼬리 질량 상한을 뺀 값 이상의 커버리지를 제공하지만, 폭을 상당히 증가시킬 수 있다. 세 개의 회귀 데이터셋에 대한 통제된 이동 실험과 합성 데이터 실험은, 이동이 잘 식별될 때 플러그인 예측 표집이 오라클 커버리지에 근접할 수 있으나 예측 편향과 불안정한 틸트 추정에는 여전히 취약함을 보여준다. 민감도 분석은 시험한 설정에서 이러한 실패를 완화할 수 있으나, 그 대가로 예측 집합이 넓어진다. 점수와 가중치를 결합하면 가중치만 변화시킬 때보다 더 높은 커버리지로 더 좁은 집합을 얻을 수 있으나, 이러한 이점이 모든 이동에서 일정하지는 않다. 민감도 족에서 참 틸트를 제외하면 여전히 과소 커버리지가 발생할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.