arXiv:2611.21158v1 stat.CO

상호 정보량을 통한 시뮬레이션 기반 추론의 요약 충분성

Summary Sufficiency in Simulation-Based Inference via Mutual Information

Renjie Peng, Christian Genest, David A. Stephens

제출 2026-11-16

저자 비고

arXiv Comments

37 pages

한국어 초록

시뮬레이션 기반 추론(SBI)은 우도를 다루기 어렵지만 모델로부터 데이터를 시뮬레이션할 수 있을 때 사후분포 추정을 가능하게 한다. 고차원 또는 가변 길이 데이터의 경우 SBI 방법은 일반적으로 사후분포 추정의 조건 입력으로 저차원 요약 통계량에 의존하므로, 그 충분성이 정확한 추론에 매우 중요하다. 상호 정보량(MI)은 요약이 얼마나 많은 매개변수 정보를 보존하는지를 정량화하여 충분성을 정보 이론적으로 자연스럽게 특성화한다. 그러나 이러한 MI 양은 우도 없는 설정에서 일반적으로 다루기 어렵다. Sui 등(2026)은 학습된 신경 사후분포로부터 Barber–Agakov(BA) 하한을 이용해 MI를 추정하며, 피셔 정보 상한은 논의하되 계산하지는 않는다. 이로 인해 추정이 모호해지는데, 작은 하한은 불충분한 요약을 의미할 수도 있고 부정확한 밀도 추정기를 의미할 수도 있기 때문이다. 우리는 BA 간극을 추정하고 두 한계 사이의 차이가 실제로 무엇을 측정했는지 드러내는 다루기 쉬운 진단 방법으로 이 한계를 해결한다. 그 결과로 얻은 충분성 지표를 관측값 중심의 제한된 데이터 공간으로 확장하여, 목표 사후분포를 보존하면서 시뮬레이션이 데이터의 근방에 집중하도록 하고 요약 간 유효한 충분성 비교를 가능하게 한다. 가변 길이 지진 카탈로그에 대해 학습된 요약 통계량과 수작업 요약 통계량을 비교함으로써, 시간적 전염병형 여진 열(ETAS) 모델에서 이 진단 도구의 사용을 보여준다.

원문 초록

Simulation-based inference (SBI) enables posterior estimation when the likelihood is intractable but data can be simulated from the model. For high-dimensional or variable-length data, SBI methods typically rely on low-dimensional summary statistics as conditioning inputs for posterior estimation, making their sufficiency crucial for accurate inference. Mutual information (MI) provides a natural information-theoretic characterization of sufficiency, quantifying how much parameter information a summary retains. However, these MI quantities are generally intractable in likelihood-free settings. Sui et al. (2026) estimate MI from a trained neural posterior using the Barber--Agakov (BA) lower bound, while discussing, but not computing, a Fisher-information upper bound. This makes the estimate ambiguous: a small lower bound may indicate either an insufficient summary or an inaccurate density estimator. We address this limitation with a tractable diagnostic that estimates the BA gap and reveals what the difference between bounds has actually measured. We extend the resulting sufficiency metric to observation-centered restricted data spaces, allowing simulations to focus on a neighborhood of the data while preserving the target posterior and enabling valid sufficiency comparisons between summaries. We illustrate the use of this diagnostic tool on a temporal epidemic-type aftershock sequence model by comparing learned and hand-crafted summary statistics for variable-length earthquake catalogs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21158v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.