대규모 생의학 및 사회과학 데이터 분석에 널리 쓰이는 일반화 선형 혼합 모델(GLMM)의 확장 가능한 베이지안 추론을 위해, Fisher의 항등식을 활용한 주변 로그 가능도 그래디언트 추정에 기반한 확률적 그래디언트 MCMC(SGMCMC) 알고리즘을 제안한다. 데이터 서브샘플링과 그래디언트 근사에서 발생하는 분산 팽창을 사후 보정하여 전자 건강 기록 데이터 분석을 포함한 시뮬레이션 연구에서 기존 제어 변량 방법 대비 정확한 사후 불확실성 정량화를 달성하였다.
3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.
마르코프 연쇄 몬테카를로(MCMC) 방법은 복잡한 확률 분포에서 기댓값을 계산하기 위한 표준적인 도구입니다. 제어 변량(control variate)은 이를 통해 얻은 추정치의 분산을 줄여주지만, 좋은 제어 변량을 얻으려면 샘플러의 포아송 방정식(Poisson equation)을 풀어야 하며 이는 닫힌 형태의 해(closed-form solution)를 갖는 경우가 드뭅니다. 단순한 참조 밀도(reference density) 상에서 샘플러의 커널(kernel)에 대한 스펙트럼 분해(spectral decomposition)가 알려져 있을 때는 정확한 해를 구할 수 있습니다. 본 연구에서는 학습된 변수 변환(change of variables)을 통해 이러한 해를 일반적인 목표 분포로 확장합니다. 목표 분포가 잠재 공간(latent space)에서 참조 분포와 가까워지도록 정규화 흐름(normalizing flow)과 같은 전단사 함수(bijection)를 학습시키며, 마르코프 커널과 해당 포아송 해가 임의의 전단사 함수에 의해 변환됨을 보입니다. 이어 이러한 샘플러를 잠재 공간에서 실행하면 명시적인 제어 변량이 도출되며, 사상(map)과 목표 분포에 대한 온건한 꼬리 조건(mild tail conditions) 하에서 추정량의 일치성(consistency)이 보장됩니다. 흐름(flow) 기반의 중요도 샘플링(IS)은 동일한 구조의 극한 사례(limiting case)이며, 제어 변량은 이 경우에도 동일하게 적용됩니다. 합성 목표 분포 및 실제 사후 분포(posterior)를 대상으로 한 실험을 통해 본 절차를 최신 샘플러 및 제어 변량과 비교합니다.
처리하기 어려운(intractable) 밀도 $\pi$에 대해 함수 $F$의 기댓값을 추정하고자 한다고 가정한다. $\pi$는 알려지지 않은 정규화 상수(normalising constant)까지 포함하여 주어진다. $\pi$가 KL 발산(KL divergence) 관점에서 다른 밀도 $q$에 충분히 가깝다면, 제안 밀도(proposal density) $q$로 $\pi$에서 샘플을 얻는 independent Metropolis 샘pler 추정량이 control variates에 기반한 분산 감소(variance reduction) 계산 전략으로 보강되었을 때, $\pi$로부터의 i.i.d. 샘pling보다 더 작은 점근 분산(asymptotic variance)을 달성함을 증명한다. control variates 구성은 추가 계산 부담을 요구하지 않지만, $q$ 하에서 $F$의 기댓값을 해석적으로 구할 수 있다고 가정한다. 사전-가능도 충돌(prior-likelihood conflict)과 비켤레(non-conjugate) 사전을 갖는 선형 회귀 모델에서 주변 가능도(marginal likelihood)를 계산하여 이 결과를 설명한다. 또한 목표(target)와의 KL 발산이 줄어들도록 제안 밀도를 적응시키는 adaptive independent Metropolis 알고리즘을 제안한다. 베이지안 로지스틱 회귀 및 가우시안 프로세스 회귀 문제에서 적용 가능성을 보이고, 쉽게 검증 가능하고 본질적으로 최소인 조건 하에서 점근적 논거를 엄밀하게 정당화한다.
다중 모드 분포(multimodal distribution)로부터의 샘플링은 고전적인 로컬 마르코프 연쇄 몬테카를로(MCMC) 방법에서 오랜 난제였다. 널리 쓰이는 해결책은 목표 분포와 더 단순한 참조 분포 사이를 보간하는 중간 분포 시퀀스를 도입하는 것이다. 고전적인 방법인 템퍼링(tempering)은 밀도를 거듭제곱으로 올리지만, 비대칭 모드들의 상대적 가중치를 왜곡하고 혼합 성능을 저하시킬 수 있다. 이에 대한 대안으로, 우리는 목표 분포를 가우시안으로 이끄는 노이징 확산 과정의 주변 분포인 확산 경로(diffusion path)를 따라 보간하는 방법을 제안한다. 이 경로는 모드들의 상대적 가중치를 보존하며 유리한 혼합 특성을 지니는데, 이를 대응하는 이상적인 전이 커널의 스펙트럴 갭(spectral-gap) 분석을 통해 엄밀히 밝힌다. 경로를 따른 샘플링에는 중간 스코어(intermediate score)가 필요하며, 이는 비정규화 목표 분포로부터 변분적(variational) 접근법을 통해 추정할 수 있어 근사 샘플러만 얻어진다. 이로 인한 바이어스를 제거하기 위해, 우리는 메트로폴리스-보정 확산 경로(MAD-Path) 샘플러를 도입한다. 이 샘플러는 증강된 경로 공간(augmented path space)에서 확산 경로 제안을 보정하며, 학습된 스코어의 정확도나 이산화 오류와 무관하게 목표 분포를 불변으로 유지한다. 또한 이 두 오류가 수락 확률에 미치는 영향을 정량화하여 실용적인 튜닝을 위한 지침을 제공한다. 다양한 베이지안 사후 분포(Bayesian posterior)에 대한 실험에서 MAD-Path는 템퍼링 기반 MCMC 방법 및 비보정 확산 샘플러에 비해 전역 탐험과 모드 가중치 추정을 개선함을 보여준다.
대규모 언어 모델(LLM)에 인코딩된 지식은 복잡한 세계를 설명하는 변수들에 대한 구조적 추론을 위한 기반으로 활용될 수 있지만, 이 지식을 확률적으로 일관된 방식으로 접근하는 것은 어려운 추론 문제를 야기합니다. 본 논문에서는 LLM의 조건부 분포를 전이 연산자로 활용하는 구조적 확률적 추론 방식인 Large Language Gibbs를 제안합니다. 단일 패스 자기회귀 생성을 통해 구조적 객체를 샘플링하는 대신, LLM의 다음 토큰 조건부를 사용하여 다른 변수들이 주어진 상태에서 개별 변수를 반복적으로 재샘플링합니다. 이 접근 방식은 순서 종속 편향을 피하고 모든 국소적 조건부 간의 절충을 반영하는 정상 분포를 생성합니다. 우리는 이 접근 방식을 합성 분포 샘플링, 일관된 추론 작업, 베이지안 구조 학습에 적용했습니다. 결과는 노이즈가 있는 LLM 조건부를 통해 접근 가능한 세계 사전 분포 하에서 구조적 확률적 추론을 위해 MCMC(마르코프 연쇄 몬테카를로)에서 LLM 조건부를 사용하는 것이 단일 패스 생성에 대한 실용적인 대안이 될 수 있음을 시사합니다.
조정되지 않은 Hamiltonian Monte Carlo와 저감쇠 Langevin과 같은 조정되지 않은(unadjusted) 샘플러는 바이어스가 있음이 잘 알려져 있다. Metropolis--Hastings 조정은 전통적으로 Hamiltonian Monte Carlo에 바이어스를 제거하기 위해 통합되어 왔다. 그러나 합리적인 Metropolis 수용률을 위해 필요한 작은 스텝 크기로 인해, 이 조정은 반복 복잡도를 크게 증가시킬 수 있다. 본 연구에서는 과감쇠 Langevin 알고리즘에 대해 이전에 확립된 \emph{바이어스의 비국소화} 현상을 이 두 조정되지 않은 알고리즘으로 확장한다. 변수 간 약한 또는 희소 상호작용을 가정하면, 고차원 분포의 임의의 $K$차원 주변(marginal)에 대한 $W_2$ 바이어스를 제어하기 위해 $\log d$ 항까지 $O(\sqrt{K})$ 적분 단계로 충분함을 보인다. 여기서의 이산 시간 적분기(integrator)는 과감쇠 설정을 넘어서는 기술적 어려움을 야기하며, 이를 전파자(propagator)를 특성화하는 광범위하게 적용 가능한 행렬-다항식(matrix-polynomial) 프레임워크를 통해 해결한다. 저감쇠 Langevin 알고리즘에 대한 우리의 결과는 모든 큰 마찰(friction) 매개변수에 대해 유효하며, 이는 과감쇠 Langevin 역학(dynamics)에 대한 Leimkuhler-Matthews 적분기 역시 바이어스의 비국소화를 나타냄을 시사한다.
본 논문에서는 확률적 그래디언트가 초선형적으로 증가하는 샘플링 및 확률적 최적화 문제를 위해 새로운 tamed 확률적 그래디언트 Hamiltonian Monte Carlo(tSGHMC) 알고리즘을 제안한다. 일정한 평균 연속성 조건과 강볼록성 조건 하에서, tSGHMC에 대해 Wasserstein-2 거리에서 수렴률이 $1/4$인 비점근적 오차 상계를 확립한다. 이어서 관련 기대 과잉 위험(expected excess risk)에 대한 상계를 유도하여 tSGHMC 성능에 대한 이론적 보장을 제공한다. 제안 알고리즘의 효과를 보이기 위해, tSGHMC를 합성 및 실제 데이터셋을 사용하여 newsvendor 문제와 Conditional Value-at-Risk(CVaR) 최소화 문제 등 실용적 사례에 적용한다. 수치 결과는 이론적 결과를 뒷받침한다. 또한 tSGHMC를 1계(first-order) 대응 알고리즘인 tamed unadjusted stochastic Langevin algorithm과 비교한다. 시뮬레이션 결과, 다양한 태스크에서 tSGHMC가 더 낮은 RMSE(root mean square error)와 기대 과잉 위험을 달성함을 보여준다.
비순서 이미지에서 3D 장면을 복원하는 작업은 고비용의 구조 복원(Structure-from-Motion, SfM) 전처리와 고정된 포즈 인터페이스로 인해 여전히 병목 현상이 발생한다. 우리는 통합 SfM-to-3D 가우시안 스플래팅(3DGS) 파이프라인인 SalientGS를 제안한다. 핵심 기여는 중요도 기반 마르코프 연쇄 몬테카를로(MCMC) 가우시안 할당으로, 다중 시점 잔차를 가우시안별 과소적합(underfit) 및 중복(redundancy) 신호로 집계한다. 이 신호들은 생성(birth)과 재배치(relocation) 모두를 과소적합 영역으로 편향시키는 매끄러운 중요도 가중 샘플링 분포를 정의한다. 이를 통해 기저의 확률적 그래디언트 랑주뱅 다이나믹스(SGLD)를 변경하지 않고, 잘 적합된 영역에서 용량을 재할당한다. SalientGS는 15분 이내에 최첨단 지각적 품질로 엔드투엔드 복원을 달성한다. 보충 자료에는 장면별 정성적 비교 및 이미지별 학습된 지각적 이미지 패치 유사도(Learned Perceptual Image Patch Similarity, LPIPS) 분석에 대한 전용 섹션이 포함되어 있으며, 실패 사례도 다룬다. 코드 및 평가 스크립트는 https://github.com/Six-Bit-TX/SalientGS에서 확인할 수 있다.
우리는 랜덤 워크 메트로폴리스(RWM), 메트로폴리스 조정 랑주뱅 알고리즘(MALA), 그리고 2차 헤시안 또는 매니폴드 MALA의 가우시안 불변 버전으로 구성된 샘플링 방법을 개발한다. 표준 RWM 및 MALA와 달리, 가우시안 불변 샘플링은 통계적 효율성이 향상된 에르고딕 추정량을 산출할 수 있음을 보인다. 이는 가우시안 불변성의 주목할 만한 특성 덕분으로, 가우시안 타겟에 대한 푸아송 방정식의 정확한 해석적 해를 구할 수 있다. 이 해는 임의의 다루기 어려운 타겟에 대한 추정량의 분산 감소를 위한 효율적이고 사용하기 쉬운 제어 변량(control variates) 구성에 활용될 수 있다. 잠재 가우시안 모델에서의 고차원 타겟을 포함한 여러 예제에서 새로운 샘플러와 추정량을 시연하며, 여러 고급 방법들과 비교하여 최첨단 결과를 얻는다. 또한 기하학적 에르고딕성에 관한 이론적 결과와, 최적 수용률의 타겟 가우시안성 의존도를 보여주는 최적 스케일링 분석을 제공한다.
길들여진 확률적 그래디언트 랑주뱅 동역학(tamed SGLD)에서 분모가 현재 확률적 그래디언트 샘플에 의존할 때 발생하는 조건부 평균 편향 문제를 해결하기 위해, 짧은 파일럿 실행으로부터 성장 점수 $G_\star(x)=\|b(x)\|/(1+\|x\|)$의 로그 스케일 프록시를 피팅하고 경험적 분위수로 활성화 임계값을 설정하는 결정론적 분모 설계 방법을 제안한다. 실험에서 제안된 국소 프록시-분위수 분모는 전체 그래디언트 평가 없이도 $G_\star$-외피 벤치마크에 근접한 성능을 보이며 랜덤 분모 방식 대비 개선된 결과를 달성했다.
확률적 그래디언트 랑주뱅 역학(SGLD)에서 분모가 현재 확률적 그래디언트에 의존할 때 불편향 오라클조차 정상(stationary) 평균 이동 편향을 유발한다는 문제를 분석하고, 이를 해결하기 위해 현재 상태에 조건부로 결정론적인 분모를 유지하는 국소화된 결정론적 엔벨로프(deterministic envelope) 설계 프레임워크를 제안한다. 이론적 분석을 통해 오일러·엔벨로프·확률적 그래디언트 잔차로 정상 편향의 상한을 도출하고, 순수 국소 테이밍의 꼬리 불안정성을 보완하는 하이브리드 구성의 효과를 실험으로 확인한다.
2020년 독일 COVID-19 ICU 점유 데이터에 맞춘 SECIR 역학 모델의 베이지안 보정에서 MCMC 대신 신경 사후 추정 기반 시뮬레이션 기반 추론(SBI)을 적용해 31일·201일 추론 구간에서 사후 분포와 예측 성능을 비교했다. SBI는 MCMC와 강한 사후 일치를 유지하면서 31일 문제에서 약 1000초 대비 60–70초, 201일 문제에서 19,000초 이상 대비 평균 157초로 계산 시간을 크게 줄였다.
건강 데이터의 프라이버시, 민감도 및 공유 제한에 동기를 얻어, 데이터가 컴퓨팅 노드 간에 완전히 공유되거나 통합될 수 없는 연합 학습(federated learning) 설정 내에서 베이지안 혼합 모델의 추론(inference)을 위한 포괄적인 파이프라인을 제시합니다. 우리는 합의 몬테카를로(Consensus Monte Carlo, CMC) 접근 방식을 채택하며, 여기서 MCMC 알고리즘은 각 데이터 사일로 내에서 독립적으로 실행되어 국소 사후 분포를 추정하고, 이를 집계하여 전체 데이터에 대한 사후 분포를 근사화합니다. Rabinovich, Angelino 및 Jordan (2015) [1]의 변분 CMC 접근 방식은 집계 단계를 변분 추론(variational inference) 문제로 프레임화하지만, 혼합 모델에 대한 그들의 적용은 클러스터 수와 주요 혼합 파라미터가 알려져 있다고 가정합니다. 우리의 주요 방법론적 기여는 다음과 같습니다: (i) 켤레성(conjugacy)을 요구하지 않고 클러스터 수와 모든 모델 파라미터를 추론하는 과적합 베이지안 혼합 모델로의 변분 CMC 확장; (ii) 모든 클러스터가 각 국소 데이터셋(dataset)에 나타나지 않는 사일로 간 설정에 적합한 새로운 클러스터 매칭 알고리즘; (iii) 다양한 연합 학습 제약 조건에 맞춰진 집계 단계를 위한 여러 추론 전략; (iv) 실제로 이들 중에서 선택하기 위한 가이드라인입니다. 포괄적인 시뮬레이션 연구는 이 프레임워크를 검증하고 최첨단 연합 학습 대안들과 비교할 수 있게 합니다. 특히, 국소 데이터셋의 구성이 데이터 내의 기본 클러스터링 구조를 반영할 때, 우리의 접근 방식은 통합 데이터에 적용된 표준 MCMC보다 더 큰 정확도로 작은 클러스터를 복구할 수 있음을 보여줍니다. 우리는 대규모 전자 건강 기록 데이터에 이 프레임워크를 적용하여 영국 노년 인구의 다중 동반 질환 패턴을 식별합니다.
Bayesian Magnetic Resonance Joint Image Reconstruction and Uncertainty Quantification using Sparsity Prior Models and Markov Chain Monte Carlo Sampling
우리는 압축 감지 자기 공명 영상 재구성을 사용하여 불확실성 정량화를 위한 새로운 프레임워크를 제안합니다. 이 문제는 베이지안 프레임워크 내에서 선형 역문제로 공식화되며, 알 수 없는 모델 파라미터에는 사전 분포가 할당됩니다. 구체적으로, 재구성할 이미지는 주어진 기저에서 희소(sparse)하다고 가정합니다. 우리는 모든 기저에 적용 가능한 일반적인 프레임워크를 개발했으며, 예로서 (1) 총 변분(Total Variation) 사전 모델을 사용한 공간 기울기(spatial gradients)와 (2) 웨이블릿 변환에서의 이미지 희소성을 테스트합니다. 그런 다음 분할-증강(split-and-augmented) 기브스 샘플러에 기반한 마르코프 연쇄 몬테카를로(MCMC) 방법을 사용하여 알 수 없는 파라미터의 사후 분포에서 샘플링을 수행합니다. 미분 불가능한 조건부 분포는 근사(proximal) MCMC 방법을 사용하여 효율적으로 샘플링됩니다. 제안된 알고리즘은 다양한 k-공간(k-space) 서브샘플링 패턴과 비율을 사용하여 단일 코일 및 다중 코일 데이터셋에서 검증되었습니다. 결과는 이미지 재구성에 있어 각 제안된 접근 방식이 대응되는 최적화 기반 방법보다 우수한 성능을 보여줍니다. 더불어, 우리의 프레임워크는 불확실성을 효과적으로 정량화하며, 기존 심층 학습 기반 방법과 비교했을 때 추정된 불확실성 맵과 정답(ground truth) 및 재구성된 이미지를 사용하여 계산된 오차 맵 사이에 유의미한 상관관계를 보여줍니다.
In-and-Out 알고리즘과 지수적 리프팅을 사용하여 임의의 로그 오목 분포를 웜 스타트에서 샘플링하는 단순하고 통합된 거의 최적의 복잡도 경계를 제시하며, 리프팅된 분포의 푸앵카레 상수에 대한 개선된 분석을 통해 제약 설정과 잘 조건화된 설정 모두에서 거의 최적의 수렴 속도를 보장한다.