arXiv:2602.10182v2 cs.LG

강건한 확률적 예측 및 꼬리 사건 예측을 위한 시그니처 커널 기반 평가 지표

Signature-Kernel Based Evaluation Metrics for Robust Probabilistic and Tail-Event Forecasting

Benjamin R. Redhead, Thomas L. Lee, Peng Gu, V\'ictor Elvira, Amos Storkey

제출 2026-11-19

한국어 초록

연속 순위 확률 점수(CRPS)와 분위수 손실(QL) 같은 표준 표본 기반 지표는 확률적 시계열 예측의 평가에 자주 사용된다. 그러나 이러한 지표는 다변량 상관관계를 포착하지 못하며 분포의 꼬리를 포착하는 능력을 평가하지 못한다. 이러한 전역 지표는 분포 몸통 부분의 과대 대표 때문에 분포 꼬리의 고효용 사건에 대한 오류에 둔감하다. 적절한 점수 규칙(proper scoring rule)을 유지하면서 꼬리 영역과 고효용 영역에서의 분포 충실도를 정확히 측정하기 위해, 우리는 검열된 시그니처 커널 지표 계열을 도입한다. 제안한 지표는 분포의 몸통을 하나의 피벗으로 붕괴시킴으로써 예측 평가를 고효용 또는 분포 꼬리를 나타내는 초점 영역에 집중시킨다. 시계열 파운데이션 모델(TSFM)에 대한 벤치마크 결과, 분포 포착에 대해서는 명확한 순위를 매길 수 있지만 계통 부하 예측과 같은 과제에서는 뚜렷한 우승 모델이 없음이 드러났다. 이는 전체 분포를 포착하는 능력이 강한 모델이 높은 후속 효용을 지닌 예측을 산출하지는 않음을 시사한다. 제안한 지표의 사용을 장려하기 위해 효율적 시그니처 커널(ESK) 라이브러리를 오픈소스로 공개한다. 이 라이브러리는 맞춤형 triton 커널로 배치 계산을 지원하며, 널리 쓰이는 SigKernel 라이브러리를 통한 구현에 비해 최대 3.58$\times$의 속도 향상을 달성한다. 지표의 코드는 GitHub에서 이용할 수 있다.

원문 초록

Standard sample-based metrics like Continuous Ranked Probability Score (CRPS) and Quantile Loss (QL) are frequently used in the evaluation of probabilistic time-series forecasting. However, these metrics fail to capture multivariate correlations or assess the ability to capture distribution tails. These global metrics are insensitive to errors on high-utility events in distributional tails due to over-representation of the distribution's body. To accurately measure distributional fidelity on tail-regions and regions of high utility while still having a proper scoring rule, we introduce a family of censored signature kernel metrics. Our proposed metrics concentrate evaluation of forecasts to a focus region, representing high-utility or distributional tails, by collapsing the body of the distribution to a single pivot. Our benchmarks on time-series foundation models (TSFMs) reveal that while a clear ranking can be formed for distribution capture, there is no clear winner for tasks like systemic load prediction. This indicates that models with a strong ability to capture an overall distribution do not produce forecasts with high downstream utility. To encourage the use of the proposed metrics we open-source the efficient signature kernel (ESK) library. This library facilitates batch computation, with custom triton kernels, achieving a speed-up of up to 3.58$\times$ compared to implementations via the popular SigKernel library. Code for our metrics are available on GitHub.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.10182v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.