마르코프 연쇄 몬테카를로(MCMC) 방법은 복잡한 확률 분포에서 기댓값을 계산하기 위한 표준적인 도구입니다. 제어 변량(control variate)은 이를 통해 얻은 추정치의 분산을 줄여주지만, 좋은 제어 변량을 얻으려면 샘플러의 포아송 방정식(Poisson equation)을 풀어야 하며 이는 닫힌 형태의 해(closed-form solution)를 갖는 경우가 드뭅니다. 단순한 참조 밀도(reference density) 상에서 샘플러의 커널(kernel)에 대한 스펙트럼 분해(spectral decomposition)가 알려져 있을 때는 정확한 해를 구할 수 있습니다. 본 연구에서는 학습된 변수 변환(change of variables)을 통해 이러한 해를 일반적인 목표 분포로 확장합니다. 목표 분포가 잠재 공간(latent space)에서 참조 분포와 가까워지도록 정규화 흐름(normalizing flow)과 같은 전단사 함수(bijection)를 학습시키며, 마르코프 커널과 해당 포아송 해가 임의의 전단사 함수에 의해 변환됨을 보입니다. 이어 이러한 샘플러를 잠재 공간에서 실행하면 명시적인 제어 변량이 도출되며, 사상(map)과 목표 분포에 대한 온건한 꼬리 조건(mild tail conditions) 하에서 추정량의 일치성(consistency)이 보장됩니다. 흐름(flow) 기반의 중요도 샘플링(IS)은 동일한 구조의 극한 사례(limiting case)이며, 제어 변량은 이 경우에도 동일하게 적용됩니다. 합성 목표 분포 및 실제 사후 분포(posterior)를 대상으로 한 실험을 통해 본 절차를 최신 샘플러 및 제어 변량과 비교합니다.
처리하기 어려운(intractable) 밀도 $\pi$에 대해 함수 $F$의 기댓값을 추정하고자 한다고 가정한다. $\pi$는 알려지지 않은 정규화 상수(normalising constant)까지 포함하여 주어진다. $\pi$가 KL 발산(KL divergence) 관점에서 다른 밀도 $q$에 충분히 가깝다면, 제안 밀도(proposal density) $q$로 $\pi$에서 샘플을 얻는 independent Metropolis 샘pler 추정량이 control variates에 기반한 분산 감소(variance reduction) 계산 전략으로 보강되었을 때, $\pi$로부터의 i.i.d. 샘pling보다 더 작은 점근 분산(asymptotic variance)을 달성함을 증명한다. control variates 구성은 추가 계산 부담을 요구하지 않지만, $q$ 하에서 $F$의 기댓값을 해석적으로 구할 수 있다고 가정한다. 사전-가능도 충돌(prior-likelihood conflict)과 비켤레(non-conjugate) 사전을 갖는 선형 회귀 모델에서 주변 가능도(marginal likelihood)를 계산하여 이 결과를 설명한다. 또한 목표(target)와의 KL 발산이 줄어들도록 제안 밀도를 적응시키는 adaptive independent Metropolis 알고리즘을 제안한다. 베이지안 로지스틱 회귀 및 가우시안 프로세스 회귀 문제에서 적용 가능성을 보이고, 쉽게 검증 가능하고 본질적으로 최소인 조건 하에서 점근적 논거를 엄밀하게 정당화한다.
베이지안 역문제에서 사후 기대값의 몬테카를로(MC) 추정 분산이 크면, 특히 PDE 제약 문제에서 샘플 비용이 급증하므로 결합 모델-데이터 샘플로 상환(amortized) 조건부 신경망 제어 변량(CNCV)을 학습해 MC 추정량의 분산을 줄이는 모듈식 방법을 제안한다. Stein 항등식과 계층적 coupling layer 앙상블로 고차원에서도 야코비안 trace를 효율적으로 계산하며, stylized 문제와 Darcy flow PDE 역문제에서 고전적 Stein 제어 변량을 능가하고 해석적 score를 학습 대리 모델로 대체해도 상당한 분산 감소를 달성했다.
우리는 표 형식 표현(tabular representation)을 사용하는 위상 설정(phased setting)에서 시간차 학습(TD)의 분산을 분석하고, 분산 감소 능력의 배경에 있는 메커니즘 중 하나가 더 많은 수의 독립적인 궤적(trajectories)에 대해 효과적으로 집계하는 것임을 보여줍니다. 이 통찰을 바탕으로 우리는 (1) TD의 분산이 점근적으로 몬테카를로(MC) 추정기에 의해 상한으로 제한됨을, 그리고 (2) 고정된 샘플 수에 대해 더 짧은 horizon 업데이트가 더 적은 분산을 유발함을 입증합니다. TD를 넘어, 우리는 어드밴티지 함수(advantage function)를 추정하는 방법인 직접 어드밴티지 추정(DAE)이 회귀 조정된 통제 변량(control variate)의 일종으로 간주될 수 있음을 보여주며, 이는 대표본 한계(large-sample limit)에서 TD에 비해 분산에 대해 더 타이트한 경계를 달성합니다. 마지막으로, 우리는 신중하게 설계된 환경을 통해 이러한 추정기들의 동작을 수치적으로 보여줍니다.