모델 출력에 대한 많은 평가는 평가 시점에 확인 가능한 계약(contract)에 의존하거나 운영 루프 내에서 도달하는 피드백에 의존한다. 우리는 정답(ground truth)이 지연되거나 검열되거나 비공개인 보완적 환경을 연구한다. 이 환경에서 결정론적 코드는 채점 시점에 정확성을 확인할 수 없으며, 대신 코드 소유의 잠정적 예측(provisional forecast)을 발행해야 한다. RouteCast는 모델이 생성한 타입화된 전략적 경로에 대해 이 체제를 구체화한다: 모델은 후보 경로와 구조화된 요인을 제안하고, 시점별 증거(point-in-time evidence), 참조 클래스(reference class), 결정론적 변환이 잠정적 예측 순위를 생성하며, 이후 결과가 예측을 평가한다. 21개의 이진 결과 사례(긍정 6개, 부정 15개)에 대한 소급 벤처 파일럿에서, 전체 패킷 RouteCast 점수는 예비적 소급 변별력을 보였으며(AUC 0.756, 95% CI [0.471, 0.980]), 블라인드 대규모 언어 모델(LLM) 심사자는 AUC 0.678 [0.419, 0.897]에 도달했고, 신원 노출 LLM 심사자는 AUC 0.761 [0.515, 0.944]에 도달하여 인식 또는 결과 관련 누출 위험과 일치했다. 동일한 이진 부분집합에 대한 사전 등록된 분해 어블레이션(decomposition ablation)은 동일한 입력을 타입화된 단계적 경로로 변환하는 것이 전체 패킷 점수(Delta AUC = -0.144, 95% CI [-0.471, 0.176])와 결정론적 휴리스틱(Delta AUC = -0.089, 95% CI [-0.412, 0.278])으로부터 구별할 수 없음을 발견했다. 이 파일럿은 감사 가능한 타당성 결과를 수립하고 실패 모드를 노출하지만, 전향적 보정(prospective calibration), 인과적 의사결정 개선, 경로 분해 이점, 또는 교차 도메인 유효성을 확립하지는 않는다.
Nash-Sutcliffe 효율(NSE)은 여러 시계열에 걸친 예측을 평가하기 위해 널리 사용되는, 양의 방향으로 정의된 상대적 측도이다. 그러나 이 목적에 대한 결정 이론적 토대가 결여되어 있다. 이를 해결하기 위해, 본 연구는 $L_{\text{NS}} = 1 - \text{NSE}$로 정의되는 음의 방향 대응물, 즉 Nash-Sutcliffe 손실을 고찰한다. 우리는 $L_{\text{NS}}$가 Nash-Sutcliffe 함수형(functional)이라 명명하는 도출 가능하고 식별 가능한 다차원 함수형에 대해 강일치(strictly consistent)함을 증명한다. 이 함수형은 데이터 가중 성분별 평균이다. 여러 시계열에 걸쳐 평균 NSE를 최대화하는 일반적인 관행은, 기댓값 $L_{\text{NS}}$를 최소화하는 것의 표본 유사체이다. 따라서 이 연산은 모든 시계열이 하나의 비정상(non-stationary) 확률 과정에서 비롯된다고 암묵적으로 가정한다. 우리는 평균 $L_{\text{NS}}$를 최소화하여 추정하는 다차원 모델인 Nash-Sutcliffe 선형 회귀를 도입하며, 이는 데이터 가중 최소제곱 공식으로 환원된다. 표본 평균 손실 함수의 방향을 재정립함으로써, 기존에 제안된 평가 및 추정 프레임워크를 서로 다른 확률적 특성을 가진 여러 정상(stationary) 종속 시계열의 예측으로 확장한다. 이는 기존 공식보다 NSE의 더 자연스러운 경험적 구현을 구성한다. 우리의 결과는 대규모 데이터셋에서 NSE 기반 모델 추정 및 예측 평가에 대한 결정 이론적 토대를 확립하는 동시에, 기계학습에서 로컬 모델 대비 글로벌 모델의 이점을 더욱 명확히 한다.
In the current practices of machine learning, the evaluation of forecasts has become a cornerstone of scientific progress. A multitude of evaluation metrics have been suggested and used to qualify "good" forecasts. What do those metrics share? How are they related? In this work, we use a protocol borrowed from game-theoretic probability to show that a large part of evaluation metrics can be viewed as averaged outcomes of fair gambles. Intuitively, a fair gambler is one which a forecaster would expect to fail. Hence, the gambler's ability to gain disproves the quality of the forecast. Standard evaluation metrics are then variants of choices of such fair gambles. In particular, this choice is structured along two dimensions, one of which separates calibration-type and regret-type metrics. In particular, this framework sheds light on the relationship of calibration and regret showing a theoretical equivalence in their ability to evaluate when being scaled appropriately, but the incomparability of obtained scores.