확률적 분류(probabilistic classification)에서 보정 오차(calibration error, CE)는 예측 확률 $f(X)$와 해당 예측 확률에 대한 실제 클래스 분포인 $\mathbb{P}(Y|f(X))$ 간의 평균 발산을 측정합니다. 유용한 진단 도구임에도 불구하고 이를 추정하기는 어렵습니다. 널리 사용되는 구간화(binning) 기반 추정량은 종종 일치성(inconsistent)을 만족하지 않으며, 이진 분류를 넘어 두 개 이상의 클래스로 확장할 때 스케일링이 잘 되지 않습니다. 최근 연구에서는 적합 손실(proper loss)로 측정했을 때의 자체 예측에 대한 최적의 재보정과 비교하여 모델의 초과 위험(excess risk)으로 CE를 재작성합니다. 그러나 이는 제곱 오차와 같은 브레그만 발산(Bregman divergence) 기반의 보정 오차에만 적용되며, 더 널리 쓰이는 $L_1$ 거리 기반 CE는 제외됩니다. 본 논문에서는 예측 의존적 적합 점수(prediction-dependent proper score)를 사용하면 이러한 제한을 완화할 수 있음을 보이며, 이진 및 다중 클래스 환경에서 닫힌 형태(closed-form)의 손실을 갖는 $L_p$ 거리를 포함하여 일반적인 볼록 발산(convex divergence) 기반의 CE를 추정할 수 있음을 입증합니다. 초과 위험을 추정하기 위해, 그래디언트 부스팅으로 온도 스케일링(temperature scaling)에 잔차(residual)를 적합하는 더 정확한 재보정기를 도입합니다. 그 결과로 도출된 변분 추정량인 V-ECE는 구간(bin)이나 클러스터가 필요하지 않으며 기대값 관점에서 실제 보정 오차의 하한(lower bound)을 제공합니다. 실제 분류기 모델로부터 구축되고 참값인 실제 CE가 알려진 준-합성 작업 벤치마크에서, V-ECE는 모든 보정 오차에 대해 가장 정확한 이진 추정량 중 하나로 꼽히며 모든 다중 클래스 추정량을 크게 능가합니다. 본 연구 결과에는 $L_p$ CE, 추정량 바이어스(estimator bias), 과대 또는 과소 신뢰도 추정에 대한 추가적인 이론이 함께 제공됩니다.
부분적이고 잡음이 섞인 관측이 주어지는 동적 시스템의 베이즈 필터링(Bayesian filtering)은 온라인 방식으로 관측치에 따른 시스템 상태의 시변 조건부 분포를 추론하는 것을 목표로 합니다. 이러한 베이즈 필터링 분포는 지도학습의 타깃으로 직접 주어지는 경우가 거의 없습니다. 그러나 예측 모델을 활용하여 합성 궤적과 이에 대응하는 합성 관측치를 생성할 수 있는 경우가 많습니다. 본 연구에서는 오직 합성 궤적만을 사용하여 학습되는 앙상블 자료 동화(data assimilation) 기법인 적합 점수 앙상블 필터(PSEF)를 소개합니다. 분석 단계는 순열 동변성(permutation-equivariant)을 갖는 트랜스포머 기반 사상으로 표현됩니다. 학습은 전체 확률 분포에 걸쳐 확률적 정확도에 보상을 부여하도록 엄밀한 적합 점수 규칙(strictly proper scoring rules)에 기반하며, 본 연구의 구현에서는 에너지 점수(energy score)가 사용됩니다. 실현가능성(realizability) 가정 하에서, 모집단 평균장(mean-field) 목적 함수는 실제 베이즈 필터링 분포에 의해 최소화됩니다. 제안하는 방법론은 앙상블 크기에 따른 미세조정을 전제로, 서로 다른 앙상블 크기 간에 동일하게 학습된 파라미터를 공유할 수 있도록 합니다. 수치 실험 결과, 학습된 필터는 강한 비가우시안성 및 다봉(multi-modal) 사후 분포를 포함하는 까다로운 필터링 분포를 정확하게 근사하며, 고전적 기법이나 평균제곱오차(MSE) 목적 함수를 사용하는 학습 기반 기법보다 자료 동화 작업에서 더 뛰어난 성능을 달성함을 보여줍니다.
예측 시장(prediction market)에서 기존 이론이 자동화 시장 조성자(AMM)에서만 예측 정확도와 수익성의 동치를 보장하는 한계를 지적하며, 임의의 순정칙 채점 규칙(strictly proper scoring rule)에 기반한 "순정칙 베팅(proper betting)" 전략이 중앙 지정가 주문서(CLOB) 방식의 시장에서도 정확도 우위를 수익으로 안정적으로 변환하는 사실상 유일한 전략임을 이론적으로 증명하였다. AI 모델의 수천 건 예측 실험 및 Kalshi 실전 배포에서 +80.33% 투자 수익률과 샤프 비율 3.35을 달성하며 이론의 실용성을 검증하였다.
다중 클래스 분류를 위한 세 가지 엄격한 적정 손실 함수(CAPM, HPG, APMS)의 이론적 성질(조건부 후회, 곡률, 그라디언트 경계)을 수학적으로 분석하고 노이즈 레이블, 클래스 불균형, 캘리브레이션 등 다양한 조건에서 교차 엔트로피와 비교 실험한 결과, 제안된 방법들이 일부 노이즈 레이블 환경에서 소폭의 이득을 보이지만 전반적인 우월성은 입증되지 않았다.
다수 시계열에서 확률적 예측 모델을 비교할 때 평균 스케일 점수와 평균 순위·승률 같은 집계 방식이 엇갈리는 이유는 점수 분포의 왜도(skewness)이며, 특히 테스트 세트가 짧으면 비평균 기준이 잘못 지정된 모델을 고를 수 있다. 평균 점수는 이 문제에 영향받지 않고 테스트 세트가 커지면 집계 기준이 같은 선택으로 수렴하며, M5 대회 데이터를 포함한 간헐적 수요 시계열 실험에서는 평균 스케일 점수가 더 신뢰할 만하고 스케일링 인수를 바꿔도 결정이 일관되게 유지된다.