업스트림 데이터 없는 신경 변분 컷 사후분포
Neural Variational Cut Posteriors without Upstream Data
한국어 초록
많은 응용 분야에서 피드백 없이 이전(업스트림) 분석에서 샘플 형태로 제공되는 매개변수 불확실성을 후속(다운스트림) 분석으로 전파해야 합니다. 이 문제는 피드백 절단(cutting feedback) 또는 컷-베이즈(cut-Bayes)로 불리며, 정보 흐름 제약을 보존하는 최적의 사후분포인 컷 사후분포(cut-posterior)는 잘 규명되어 있습니다. 그러나 (예컨대 중첩 MCMC 등을 통해) 이로부터 샘플링하는 것은 계산 비용이 많이 들고, 컷-베이즈를 위한 기존 변분 추론(variational inference) 기법들은 흔히 접근할 수 없는 업스트림 데이터 및 모델에 대한 접근을 필요로 합니다. 본 논문에서는 업스트림 데이터나 모델에 대한 접근을 전혀 필요로 하지 않으면서 모듈화되고 이론적으로 정확성이 입증된 컷-베이즈 접근법을 제안합니다. 업스트림 사후분포에 대한 다운스트림 조건부 쿨백-라이블러 발산(Kullback-Leibler divergence) 기댓값의 최소화 함수로서 컷 사후분포가 갖는 특성을 활용하여, 해당 기댓값을 업스트림 표본에 대한 표본 평균으로 대체합니다. 제안 기법인 NeVI-Cut(neural variational inference for cut-Bayes)은 다운스트림 매개변수를 위한 변분 족(variational family)으로 조건부 정규화 흐름(conditional normalizing flows)을 채택합니다. 또한 신경망 구조의 표현력(richness)과 컷 사후분포의 복잡도 관점에서 NeVI-Cut의 고정 데이터 수렴 속도(convergence rate)를 제시합니다. 저자들이 아는 한, 일반적인 흐름(flow) 클래스에 의한 조건부 분포의 균등 쿨백-라이블러 근사 속도에 대한 최초의 결과를 확립함으로써, 변분 흐름에 널리 적용 가능한 고정 데이터 오차율을 도출합니다. 확률적 알고리즘을 통해 NeVI-Cut을 효율적으로 구현하며, 다양한 응용 분야에서 그 속도와 정확도를 입증합니다.
원문 초록
In many applications, one must propagate parameter uncertainty from an earlier (upstream) analysis, available as samples, to subsequent (downstream) analyses without feedback. This problem is called cutting feedback or cut-Bayes, and the cut-posterior, the optimal posterior preserving information-flow constraints, is well characterized. However, sampling from it (e.g., via nested MCMC) is computationally intensive, while existing variational inference methods for cut-Bayes require access to upstream data and model, often unavailable. We propose a modular and provably accurate cut-Bayes approach requiring no access to upstream data or model. We leverage the characterization of the cut-posterior as the minimizer of the expected downstream conditional Kullback-Leibler divergence over the upstream posterior, replacing the expectation with the sample average over upstream draws. Our method, NeVI-Cut (neural variational inference for cut-Bayes), employs conditional normalizing flows as the variational family for downstream parameters. We provide fixed-data convergence rates of NeVI-Cut in terms of the richness of neural architecture and complexity of the cut-posterior. We establish, to our knowledge, first results on uniform Kullback-Leibler approximation rates of conditional distributions by common flow classes, yielding widely applicable fixed-data error rates for variational flows. A stochastic algorithm implements NeVI-Cut efficiently, and we demonstrate its speed and accuracy on multiple applications.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2510.10268v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.