arXiv:2605.00455v2 stat.ME

예측 베이즈 추론에서의 집중 및 캘리브레이션

Concentration and Calibration in Predictive Bayesian Inference

David T. Frazier, Hui Wang

제출 2026-05-01

저자 비고

arXiv Comments

This paper has been withdrawn because its primary results have been integrated into a new, expanded study with different methodology, authors, focus and experiments. Please see https://arxiv.org/pdf/2609.30622 for the updated work

한국어 초록

예측 베이즈 추론(Predictive Bayesian inference, PBI)은 표준 베이즈 추론(Bayesian inference)에 대한 모델 및 사전확률에 구애받지 않는(model- and prior-agnostic) 접근법으로, 관측되지 않은 미래 데이터에 대한 전방 예측 모델(forward predictive model)만을 지정함으로써 사용자가 관심 있는 범함수(functional)에 대한 불확실성을 정량화할 수 있게 해줍니다. 이러한 프레임워크의 유연성과 범용성 덕분에 이 접근법을 구현하기 위한 수많은 새로운 알고리즘과 다양한 실증적 응용이 등장했지만, 관심 대상인 기저의 통계적 범함수에 대해 도출된 추론 결과의 신뢰성은 여전히 불분명합니다. 본 논문에서는 관심 대상인 모집단 범함수에 대해 PBI를 적용할 때, 도출되는 사후분포가 해당 방법의 기반이 되는 예측 재귀(predictive recursion)를 구현하는 데 사용된 전방 예측 모델에 명시적으로 의존하는 잘 정의된 양으로 집중(concentrate)됨을 증명합니다. 나아가, 전방 예측 모델은 PBI에서 생성되는 불확실성 정량화를 전적으로 결정합니다. 결과적으로 우리의 연구 결과는 예측 모델이 데이터의 모든 관련 특징을 포착하지 못할 경우, 매우 단순한 예시에서조차 관심 범함수의 모집단 값에 대한 예측 베이즈 신뢰 구간(credible sets)의 커버리지가 0에 임의로 가까워질 수 있음을 보여줍니다. 우리는 이러한 현상이 발생하는 이유를 면밀히 설명하며, 이 동작이 PBI 프레임워크 내에서 미래 관측값을 생성하는 데 사용된 전방 예측 모델의 부정확성과 직접적으로 연결되어 있음을 밝힙니다. 결론적으로, 우리의 연구 결과는 PBI가 캘리브레이션된 사후 추론을 제공하기 위해서는 사후 샘플을 생성하는 데 사용되는 예측 엔진이 잘 정의된 의미에서 참 데이터 생성 과정(DGP)을 포함해야 하며, 그렇지 않으면 이 프레임워크 하에서 생성된 추론은 캘리브레이션되지 않음을 시사합니다.

원문 초록

Predictive Bayesian inference (PBI) represents a model-and prior-agnostic approach to standard Bayesian inference which allows users to quantify uncertainty for a functional of interest only by specifying a forward predictive model for future unobserved data. The flexibility and generality of this framework have led to a host of novel algorithms for implementing this approach, and many empirical applications, yet the reliability of the resulting inferences for the underlying statistical functional of interest remains unclear. Herein, we demonstrate that when using PBI for a population functional of interest, the resulting posterior concentrates onto a well-defined quantity that explicitly depends on the forward predictive model used to implement the predictive recursion underlying the method. Furthermore, the forward predictive model entirely determines the uncertainty quantification produced in PBI. Consequently, our results show that if the predictive model does not capture all relevant features of the data, and, even in very simple examples, the coverage of predictive Bayes credible sets for the population value of the functional of interest can be arbitrarily close to zero. We carefully explain why this occurs, and show that this behavior is directly tied to the inaccuracy of the forward predictive model used to produce future observations within the PBI framework. As a consequence, our results imply that in order for PBI to deliver calibrated posterior inferences, the resulting predictive engine used to generate posterior samples must contain, in a well-defined sense, the true DGP, else inferences generated under this framework will not be calibrated.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.00455v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14407v1cs.IT공통 태그 Bayesian Inference, Uncertainty Quantification, calibration

의사결정에는 불확실성 정량화가 필요하다 [강의 노트]

Decision Making Needs Uncertainty Quantification [Lecture Notes]

많은 신호 처리 시스템은 궁극적으로 {행동}하기 위해 존재한다. 의사결정자, 즉 에이전트가 취할 행동을 결정하는 상태 변수가 불확실할 때, 그 불확실성을 어떻게 표현하느냐가 에이전트의 성능이 얼마나 좋을지, 그리고 그 성능을 얼마나 신뢰할 수 있는지를 결정한다. 이 강의 노트는 제1원리로부터, 그리고 단일 의사결정 이론 설정 내에서, {목적}과 에이전트의 지식, 그리고 최적으로 행동하기에 충분한 불확실성 표현 형식 사이의 연관을 전개한다. 우선, 환경 분포가 알려져 있다고 가정하면, 위험 중립적 에이전트는 상태에 대한 사후 분포가 필요함을 보인 반면, 위험 회피적 에이전트는 {예측 집합}과 최악의 경우 의사결정 규칙에 최적성을 잃지 않고 의존할 수 있음을 보인다. 그런 다음 환경이 알려지지 않은 경우로 전환하여, 이로 인한 인식론적(epistemic) 불확실성을 다루는 세 가지 상보적 접근을 식별한다: 고정된 예측기의 보정(calibration), 분포적 강건 최적화(distributionally robust optimization)와 함께하는 크레달(credal, 모호성) 집합, 그리고 모델 파라미터에 대한 베이즈 추론. 공통된 핵심은, 신뢰할 수 있는 의사결정을 위해서는 의사결정 목적과 에이전트의 지식 프로파일에 부합하는 불확실성 표현과, 에이전트가 실제로 얻을 효용(utility)을 보증하는 보증이 함께 필요하다는 것이다.

arXiv:2610.15948v1cs.AI공통 태그 Bayesian Inference, Uncertainty Quantification

비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법

Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment

능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.