arXiv:2611.20325v1 stat.ML

예측 모델의 정합성 측정

Measuring Coherence in Predictive Models

Jamie Reason, Vik Shirvaikar, Mark van der Wilk, Chris Holmes

제출 2026-11-15

저자 비고

arXiv Comments

Accepted at NeurIPS 2026

한국어 초록

능동 학습과 같은 여러 순차적 의사결정 절차는 모델의 현재 예측이 새 데이터를 반영한 뒤 내놓을 것으로 기대하는 예측과 일치한다고 암묵적으로 가정한다. 본 연구는 이 성질을 정합성이라고 부른다. 실제로 사용하는 모델 대부분은 정확한 조건화를 통해 갱신하지 않으므로 정합성이 보장되지 않고, 이로 인해 더 나쁜 결정을 내릴 수 있다. 그러나 정합성이 얼마나 어긋나는지 측정하거나 언제 영향을 미치는지 판단하는 일반적인 방법은 아직 없다. 본 연구는 정합성 위반을 측정하고 의사결정에 영향을 미치는 조건을 규명하는 도구를 개발한다. 먼저 최대 평균 불일치(MMD)에 기반한 정합성 위반 비율을 제안한다. 이 지표는 갱신 절차 자체의 예측과 갱신 결과만으로 해당 절차가 정합성에서 얼마나 벗어나는지 측정한다. 또한 임의의 시점에 중단해도 유효한 정합성 검정을 제안한다. 베이즈 실험 설계에서 정합적인 모델에는 동등한 데이터 획득 목적 함수들이 본 연구에서 살펴본 모든 근사 모델에서는 서로 다른 데이터를 선택했다. 정합성 위반 비율은 정합성 위반이 이 목적 함수들을 얼마나 왜곡하는지 반영한다. 본 연구는 결정을 바꾸는 정합성 위반만 포착하는 행동 정합성도 제안한다. 다만 그로 인해 서로 다른 결정을 내릴 때의 비용은 주로 예측 정확도에 따라 달라진다. 순차적 의사결정은 모델의 예측과 갱신 방식 모두에 의존한다. 따라서 정확도와 마찬가지로 정합성도 당연하게 가정하기보다 확인해야 한다.

원문 초록

Many sequential decision-making procedures, such as active learning, implicitly assume that a model's current predictions agree with those it expects to make after updating on new data, a property we call coherence. Most models in use do not update by exact conditioning and are not guaranteed to be coherent, which can lead to worse decisions. Yet there is currently no general way to measure incoherence or to tell when it matters. We develop tools to measure incoherence and characterise when it affects decisions. We introduce the incoherence ratio, an MMD-based measure of how far any updating procedure departs from coherence, computed only from the procedure's own predictions and updates, and accompany it with an anytime-valid test of coherence. In Bayesian experimental design, acquisition objectives that are equivalent for coherent models choose different data under every approximate model we study, and the incoherence ratio tracks how far incoherence distorts them. We also introduce action coherence, which captures only the incoherence that changes a decision. What a resulting disagreement costs, however, is determined primarily by predictive accuracy. Sequential decisions depend on how a model updates as well as on what it predicts, so coherence, like accuracy, should be checked rather than assumed.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20325v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.