arXiv:2609.20999v1 stat.ME

생성 모델링을 위한 집계 사후 예측 점검

Aggregated Posterior Predictive Checks for Generative Modeling

Shweta Dutta, Gemma E. Moran

제출 2026-09-21

한국어 초록

잠재 변수 생성 모델은 일반적으로 잠재 변수에 대한 단순한 사전분포(prior)를 사용하여 적합(fit)되지만, 이러한 사전분포에서 추출된 표본은 사실적인 데이터를 생성하지 못하는 경우가 많습니다. 이러한 실패는 사전분포와, 적합된 모델 및 데이터에 의해 유도된 잠재 변수의 분포인 집계 사후분포(aggregated posterior) 간의 불일치로 인해 발생합니다. 이러한 불일치는 흔히 사전분포가 오지정(misspecified)되었으며 교체되어야 한다는 증거로 간주됩니다. 대안적으로, 최신 생성 모델에서는 먼저 모델을 적합한 다음 집계 사후분포를 추정하는 2단계 전략(van den Oord et al., 2017; Rombach et al., 2022)이 점점 더 많이 사용되고 있습니다. 그 후 사전분포 대신 이 집계 사후분포에서 샘플링하여 합성 데이터를 얻습니다. 이러한 절차를 점검하기 위해, 본 연구에서는 집계 사후 예측 점검(aggregated posterior predictive check, APPC)을 도입합니다. 이론적으로는 APPC가 점근적으로 보정(calibrated)되기 위한 충분조건을 확립합니다. 확률적 주성분 분석(PPCA)의 경우, 만연한 요인(pervasive factor)이 신호 공간의 복원을 가능하게 할 때 잠재 사전분포가 오지정된 상황에서도 APPC가 보정된 상태를 유지할 수 있음을 보입니다. 변분 오토인코더(VAE)를 사용한 실험을 통해, 집계 사후분포 샘플링이 가우시안 사전분포 샘플링에 비해 두꺼운 꼬리(heavy-tailed) 및 군집형 데이터에 대한 생성을 개선하는 동시에 더 유연한 잠재 사전분포를 가진 모델과 비견할 만한 성능을 보임을 입증합니다.

원문 초록

Latent variable generative models are commonly fit using simple priors over latent variables, but draws from these priors often fail to produce realistic data. This failure is due to a mismatch between the prior and the aggregated posterior, the distribution of latent variables induced by the fitted model and the data. This mismatch is often viewed as evidence that the prior is misspecified and should be replaced. Alternatively, in modern generative models, a two-stage strategy is increasingly used where first, the model is fit, and second, the aggregated posterior is estimated (van den Oord et al.,2017; Rombach et al., 2022.). Synthetic data are then obtained by sampling from this aggregated posterior instead of the prior. To check such procedures, we introduce the aggregated posterior predictive check (APPC). Theoretically, we establish sufficient conditions under which the APPC is asymptotically calibrated. For probabilistic principal component analysis, we show that the APPC can remain calibrated under a misspecified latent prior when pervasive factors permit recovery of the signal space. Experiments with variational autoencoders show that aggregated posterior sampling improves generation for heavy-tailed and clustered data relative to Gaussian prior sampling while performing comparably to models with more flexible latent priors.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.20999v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.