V-ECE: 일반화된 기대 보정 오차 추정
V-ECE: Estimating General Expected Calibration Errors
확률적 분류(probabilistic classification)에서 보정 오차(calibration error, CE)는 예측 확률 $f(X)$와 해당 예측 확률에 대한 실제 클래스 분포인 $\mathbb{P}(Y|f(X))$ 간의 평균 발산을 측정합니다. 유용한 진단 도구임에도 불구하고 이를 추정하기는 어렵습니다. 널리 사용되는 구간화(binning) 기반 추정량은 종종 일치성(inconsistent)을 만족하지 않으며, 이진 분류를 넘어 두 개 이상의 클래스로 확장할 때 스케일링이 잘 되지 않습니다. 최근 연구에서는 적합 손실(proper loss)로 측정했을 때의 자체 예측에 대한 최적의 재보정과 비교하여 모델의 초과 위험(excess risk)으로 CE를 재작성합니다. 그러나 이는 제곱 오차와 같은 브레그만 발산(Bregman divergence) 기반의 보정 오차에만 적용되며, 더 널리 쓰이는 $L_1$ 거리 기반 CE는 제외됩니다. 본 논문에서는 예측 의존적 적합 점수(prediction-dependent proper score)를 사용하면 이러한 제한을 완화할 수 있음을 보이며, 이진 및 다중 클래스 환경에서 닫힌 형태(closed-form)의 손실을 갖는 $L_p$ 거리를 포함하여 일반적인 볼록 발산(convex divergence) 기반의 CE를 추정할 수 있음을 입증합니다. 초과 위험을 추정하기 위해, 그래디언트 부스팅으로 온도 스케일링(temperature scaling)에 잔차(residual)를 적합하는 더 정확한 재보정기를 도입합니다. 그 결과로 도출된 변분 추정량인 V-ECE는 구간(bin)이나 클러스터가 필요하지 않으며 기대값 관점에서 실제 보정 오차의 하한(lower bound)을 제공합니다. 실제 분류기 모델로부터 구축되고 참값인 실제 CE가 알려진 준-합성 작업 벤치마크에서, V-ECE는 모든 보정 오차에 대해 가장 정확한 이진 추정량 중 하나로 꼽히며 모든 다중 클래스 추정량을 크게 능가합니다. 본 연구 결과에는 $L_p$ CE, 추정량 바이어스(estimator bias), 과대 또는 과소 신뢰도 추정에 대한 추가적인 이론이 함께 제공됩니다.