arXiv:2602.24230v2 stat.ML

V-ECE: 일반화된 기대 보정 오차 추정

V-ECE: Estimating General Expected Calibration Errors

Eugène Berta, Sacha Braun, Francis Bach, Michael I. Jordan, David Holzmüller

제출 2026-02-27

저자 비고

arXiv Comments

Re-worked version with a new metric benchmark and new mathematical results on the bias of the estimator

한국어 초록

확률적 분류(probabilistic classification)에서 보정 오차(calibration error, CE)는 예측 확률 $f(X)$와 해당 예측 확률에 대한 실제 클래스 분포인 $\mathbb{P}(Y|f(X))$ 간의 평균 발산을 측정합니다. 유용한 진단 도구임에도 불구하고 이를 추정하기는 어렵습니다. 널리 사용되는 구간화(binning) 기반 추정량은 종종 일치성(inconsistent)을 만족하지 않으며, 이진 분류를 넘어 두 개 이상의 클래스로 확장할 때 스케일링이 잘 되지 않습니다. 최근 연구에서는 적합 손실(proper loss)로 측정했을 때의 자체 예측에 대한 최적의 재보정과 비교하여 모델의 초과 위험(excess risk)으로 CE를 재작성합니다. 그러나 이는 제곱 오차와 같은 브레그만 발산(Bregman divergence) 기반의 보정 오차에만 적용되며, 더 널리 쓰이는 $L_1$ 거리 기반 CE는 제외됩니다. 본 논문에서는 예측 의존적 적합 점수(prediction-dependent proper score)를 사용하면 이러한 제한을 완화할 수 있음을 보이며, 이진 및 다중 클래스 환경에서 닫힌 형태(closed-form)의 손실을 갖는 $L_p$ 거리를 포함하여 일반적인 볼록 발산(convex divergence) 기반의 CE를 추정할 수 있음을 입증합니다. 초과 위험을 추정하기 위해, 그래디언트 부스팅으로 온도 스케일링(temperature scaling)에 잔차(residual)를 적합하는 더 정확한 재보정기를 도입합니다. 그 결과로 도출된 변분 추정량인 V-ECE는 구간(bin)이나 클러스터가 필요하지 않으며 기대값 관점에서 실제 보정 오차의 하한(lower bound)을 제공합니다. 실제 분류기 모델로부터 구축되고 참값인 실제 CE가 알려진 준-합성 작업 벤치마크에서, V-ECE는 모든 보정 오차에 대해 가장 정확한 이진 추정량 중 하나로 꼽히며 모든 다중 클래스 추정량을 크게 능가합니다. 본 연구 결과에는 $L_p$ CE, 추정량 바이어스(estimator bias), 과대 또는 과소 신뢰도 추정에 대한 추가적인 이론이 함께 제공됩니다.

원문 초록

In probabilistic classification, calibration error (CE) measures the average divergence of predicted probabilities $f(X)$ from $\mathbb{P}(Y|f(X))$, the true class distribution for that predicted probability. While being a useful diagnostic tool, it is hard to estimate: popular binning-based estimators are often inconsistent and scale poorly beyond two classes. Recent work rewrites the CE as the excess risk of a model compared to the best recalibration of its own predictions, measured with a proper loss. However, this only works for Bregman-divergence-based calibration errors like the squared error, excluding the more popular $L_1$-distance-based CE. We show that using prediction-dependent proper scores can alleviate this restriction, allowing us to estimate CEs with general convex divergences, including $L_p$ distances with closed-form losses in the binary and multiclass settings. To estimate the excess risk, we introduce a more accurate recalibrator that fits a residual to temperature scaling with gradient boosting. The resulting variational estimator, V-ECE, needs no bins or clusters and lower-bounds the true calibration error in expectation. On a benchmark of semi-synthetic tasks built from real classifiers, with known true CE, V-ECE is among the most accurate binary estimators for every calibration error and significantly outperforms all multiclass estimators. Our results are accompanied by additional theory on $L_p$ CE, estimator bias, and over- or under-confidence estimation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.24230v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26683v2astro-ph.SR공통 태그 Uncertainty Quantification

PROSWIN: 태양 영상을 이용한 심층 분포 회귀 기반의 확률론적 태양풍 속도 예측

PROSWIN: Probabilistic Solar Wind Speed Forecasting Using Deep Distributional Regression From Solar Images

빠른 태양풍 조건을 정확하게 예측하는 것은 불확실성이 크고 기존의 단일값 예측 모델로는 이를 정량화할 수 없기 때문에 어려운 과제입니다. 특히 기술적 인프라에 피해를 줄 수 있는 고속 태양풍 스트림(HSS)의 위험은 확률론적 예측 없이는 신뢰성 있게 평가될 수 없습니다. 본 연구에서는 4일의 리드 타임으로 지구에서의 시간별 태양풍 속도(SWS)를 예측하는 확률론적 머신러닝 모델인 PROSWIN을 제시합니다. 이 접근 방식은 심층 신경망(deep neural network)과 분포 회귀(distributional regression) 알고리즘을 결합하여 태양 영상과 자기장 지도(magnetogram)를 통합합니다. 표준 오차 지표는 HSS 피크의 중요성을 과소평가하므로, 타임라인과 HSS 피크 정확도를 함께 보상하는 모델 선택 지표인 예측 점수(prediction score)를 추가로 도입합니다. 14년간의 데이터에서 본 연구의 예측은 매우 잘 보정된 불확실성(평균 편차 <1%)을 달성합니다. 분포 정확도를 평가하는 지표인 연속 순위 확률 점수(CRPS)를 사용하여 타임라인 CRPS 41.0 km/s, HSS 피크 CRPS 45.3 km/s, 예측 점수 42.3 km/s를 얻었습니다. 또한 171 Å 채널이 일반적으로 사용되는 193 Å 및 211 Å 채널에 중요한 보완 요소가 되며, 모델 선택을 위한 예측 점수가 모델의 적용 가능성을 향상시킨다는 점을 확인했습니다. 기존 문헌에서 선정된 모델들과 비교했을 때, 본 모델은 둘 중 하나를 희생하지 않고 타임라인과 HSS 피크 값 모두에서 정확한 유일한 모델입니다. 이러한 결과는 단일값 태양풍 모델 대비 확률론적 모델의 이점을 뒷받침합니다. 도입된 방법론은 다른 예측 문제에도 전이 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.