로그 오목 샘플링을 위한 통합된 복잡도 경계
A unified complexity bound for logconcave sampling
한국어 초록
우리는 In-and-Out 알고리즘과 지수적 리프팅을 사용하여 웜 스타트에서 임의의 로그 오목 분포를 샘플링하기 위한 단순하고 통합된 거의 최적의 경계를 제공합니다. 분석의 주요한 새로운 요소는 리프팅된 분포의 푸앵카레 상수에 대한 개선된 경계입니다. 그 결과, 도출된 수렴 속도는 제약 설정(예: 볼록체로 제한된 가우시안)과 잘 조건화된 설정(예: 강하게 로그 오목하고 매끄러운 밀도) 모두에서 거의 최적입니다.
원문 초록
We give a simple, unified, and nearly tight bound for sampling arbitrary logconcave distributions from a warm start using the In-and-Out algorithm along with exponential lifting. The main new ingredient in the analysis is an improved bound on the Poincaré constant of a lifted distribution. As a consequence, the resulting convergence rate is nearly tight for both constrained settings (e.g., Gaussian restricted to a convex body) and well-conditioned settings (e.g., strongly logconcave and smooth densities).
요약
In-and-Out 알고리즘과 지수적 리프팅을 사용하여 임의의 로그 오목 분포를 웜 스타트에서 샘플링하는 단순하고 통합된 거의 최적의 복잡도 경계를 제시하며, 리프팅된 분포의 푸앵카레 상수에 대한 개선된 분석을 통해 제약 설정과 잘 조건화된 설정 모두에서 거의 최적의 수렴 속도를 보장한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12694v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확률적 그래디언트 마르코프 연쇄 몬테카를로를 이용한 베이지안 일반화 선형 혼합 모델의 확장 가능하고 보정된 샘플링
Scalable and Calibrated Sampling for Bayesian Generalized Linear Mixed Model via Stochastic Gradient Markov Chain Monte Carlo
일반화 선형 혼합 모델(GLMM)은 상관된 데이터 분석, 특히 대규모 생의학 및 사회과학 응용에서 널리 사용됩니다. GLMM에 대한 확장 가능한 베이지안 추론은 다루기 어려운 주변 가능도와 기존 마르코프 연쇄 몬테카를로(MCMC) 방법에서 발생하는 높은 계산 비용으로 인해 어렵습니다. 본 연구에서는 대규모 샘플 환경에서 정확한 사후 추론을 가능하게 하는 GLMM에 특화된 확률적 그래디언트 MCMC(SGMCMC) 알고리즘을 개발합니다. 제안된 방법은 Fisher의 항등식을 활용하여 주변 로그 가능도의 그래디언트에 대한 (편향된) 몬테카를로 추정량을 구성함으로써, 직접적인 그래디언트 계산이 불가능할 때 SGMCMC를 실현 가능하게 합니다. 데이터 서브샘플링과 그래디언트 근사 모두에 의해 도입된 추가적인 변동성을 분석하여, 사후 공분산 보정을 도출함으로써 적절히 보정된 사후 불확실성을 산출합니다. 모의 연구를 통해 제안된 방법이 다수의 그룹이 있는 환경에서 제어 변량 방법을 포함한 기존 접근법보다 우수한 정확한 사후 평균과 분산을 제공함을 보입니다. 또한 분산 팽창을 고려하는 것이 과학적 결론을 실질적으로 변화시키는 전자 건강 기록 데이터 분석에서 방법의 실용적 유용성을 추가로 입증합니다.
3DGS를 위한 효율적인 신뢰도 인지 밀집화
Efficient Confidence-Aware Densification for 3DGS
3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.
분산 감소를 적용한 변환 기반 샘플러
Transformed Samplers with Variance Reduction
마르코프 연쇄 몬테카를로(MCMC) 방법은 복잡한 확률 분포에서 기댓값을 계산하기 위한 표준적인 도구입니다. 제어 변량(control variate)은 이를 통해 얻은 추정치의 분산을 줄여주지만, 좋은 제어 변량을 얻으려면 샘플러의 포아송 방정식(Poisson equation)을 풀어야 하며 이는 닫힌 형태의 해(closed-form solution)를 갖는 경우가 드뭅니다. 단순한 참조 밀도(reference density) 상에서 샘플러의 커널(kernel)에 대한 스펙트럼 분해(spectral decomposition)가 알려져 있을 때는 정확한 해를 구할 수 있습니다. 본 연구에서는 학습된 변수 변환(change of variables)을 통해 이러한 해를 일반적인 목표 분포로 확장합니다. 목표 분포가 잠재 공간(latent space)에서 참조 분포와 가까워지도록 정규화 흐름(normalizing flow)과 같은 전단사 함수(bijection)를 학습시키며, 마르코프 커널과 해당 포아송 해가 임의의 전단사 함수에 의해 변환됨을 보입니다. 이어 이러한 샘플러를 잠재 공간에서 실행하면 명시적인 제어 변량이 도출되며, 사상(map)과 목표 분포에 대한 온건한 꼬리 조건(mild tail conditions) 하에서 추정량의 일치성(consistency)이 보장됩니다. 흐름(flow) 기반의 중요도 샘플링(IS)은 동일한 구조의 극한 사례(limiting case)이며, 제어 변량은 이 경우에도 동일하게 적용됩니다. 합성 목표 분포 및 실제 사후 분포(posterior)를 대상으로 한 실험을 통해 본 절차를 최신 샘플러 및 제어 변량과 비교합니다.
Independent Metropolis의 분산 감소
Variance Reduction for Independent Metropolis
처리하기 어려운(intractable) 밀도 $\pi$에 대해 함수 $F$의 기댓값을 추정하고자 한다고 가정한다. $\pi$는 알려지지 않은 정규화 상수(normalising constant)까지 포함하여 주어진다. $\pi$가 KL 발산(KL divergence) 관점에서 다른 밀도 $q$에 충분히 가깝다면, 제안 밀도(proposal density) $q$로 $\pi$에서 샘플을 얻는 independent Metropolis 샘pler 추정량이 control variates에 기반한 분산 감소(variance reduction) 계산 전략으로 보강되었을 때, $\pi$로부터의 i.i.d. 샘pling보다 더 작은 점근 분산(asymptotic variance)을 달성함을 증명한다. control variates 구성은 추가 계산 부담을 요구하지 않지만, $q$ 하에서 $F$의 기댓값을 해석적으로 구할 수 있다고 가정한다. 사전-가능도 충돌(prior-likelihood conflict)과 비켤레(non-conjugate) 사전을 갖는 선형 회귀 모델에서 주변 가능도(marginal likelihood)를 계산하여 이 결과를 설명한다. 또한 목표(target)와의 KL 발산이 줄어들도록 제안 밀도를 적응시키는 adaptive independent Metropolis 알고리즘을 제안한다. 베이지안 로지스틱 회귀 및 가우시안 프로세스 회귀 문제에서 적용 가능성을 보이고, 쉽게 검증 가능하고 본질적으로 최소인 조건 하에서 점근적 논거를 엄밀하게 정당화한다.
확산 경로를 이용한 마르코프 연쇄 몬테카를로
Markov Chain Monte Carlo with Diffusion Paths
다중 모드 분포(multimodal distribution)로부터의 샘플링은 고전적인 로컬 마르코프 연쇄 몬테카를로(MCMC) 방법에서 오랜 난제였다. 널리 쓰이는 해결책은 목표 분포와 더 단순한 참조 분포 사이를 보간하는 중간 분포 시퀀스를 도입하는 것이다. 고전적인 방법인 템퍼링(tempering)은 밀도를 거듭제곱으로 올리지만, 비대칭 모드들의 상대적 가중치를 왜곡하고 혼합 성능을 저하시킬 수 있다. 이에 대한 대안으로, 우리는 목표 분포를 가우시안으로 이끄는 노이징 확산 과정의 주변 분포인 확산 경로(diffusion path)를 따라 보간하는 방법을 제안한다. 이 경로는 모드들의 상대적 가중치를 보존하며 유리한 혼합 특성을 지니는데, 이를 대응하는 이상적인 전이 커널의 스펙트럴 갭(spectral-gap) 분석을 통해 엄밀히 밝힌다. 경로를 따른 샘플링에는 중간 스코어(intermediate score)가 필요하며, 이는 비정규화 목표 분포로부터 변분적(variational) 접근법을 통해 추정할 수 있어 근사 샘플러만 얻어진다. 이로 인한 바이어스를 제거하기 위해, 우리는 메트로폴리스-보정 확산 경로(MAD-Path) 샘플러를 도입한다. 이 샘플러는 증강된 경로 공간(augmented path space)에서 확산 경로 제안을 보정하며, 학습된 스코어의 정확도나 이산화 오류와 무관하게 목표 분포를 불변으로 유지한다. 또한 이 두 오류가 수락 확률에 미치는 영향을 정량화하여 실용적인 튜닝을 위한 지침을 제공한다. 다양한 베이지안 사후 분포(Bayesian posterior)에 대한 실험에서 MAD-Path는 템퍼링 기반 MCMC 방법 및 비보정 확산 샘플러에 비해 전역 탐험과 모드 가중치 추정을 개선함을 보여준다.
Large Language Gibbs를 이용한 구조적 추론
Structured Inference with Large Language Gibbs
대규모 언어 모델(LLM)에 인코딩된 지식은 복잡한 세계를 설명하는 변수들에 대한 구조적 추론을 위한 기반으로 활용될 수 있지만, 이 지식을 확률적으로 일관된 방식으로 접근하는 것은 어려운 추론 문제를 야기합니다. 본 논문에서는 LLM의 조건부 분포를 전이 연산자로 활용하는 구조적 확률적 추론 방식인 Large Language Gibbs를 제안합니다. 단일 패스 자기회귀 생성을 통해 구조적 객체를 샘플링하는 대신, LLM의 다음 토큰 조건부를 사용하여 다른 변수들이 주어진 상태에서 개별 변수를 반복적으로 재샘플링합니다. 이 접근 방식은 순서 종속 편향을 피하고 모든 국소적 조건부 간의 절충을 반영하는 정상 분포를 생성합니다. 우리는 이 접근 방식을 합성 분포 샘플링, 일관된 추론 작업, 베이지안 구조 학습에 적용했습니다. 결과는 노이즈가 있는 LLM 조건부를 통해 접근 가능한 세계 사전 분포 하에서 구조적 확률적 추론을 위해 MCMC(마르코프 연쇄 몬테카를로)에서 LLM 조건부를 사용하는 것이 단일 패스 생성에 대한 실용적인 대안이 될 수 있음을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.