arXiv:2610.03465v2 stat.ML

정확도는 언제 증거가 되는가? 일반화, 검증 및 정보 융합의 통합 이론

When Is Accuracy Evidence? A Unified Theory of Generalisation, Validation, and Information Fusion

JM Gorriz

제출 2026-10-02

한국어 초록

K-겹 교차 검증(K-fold cross-validation, CV)은 표본 외 성능(out-of-sample performance)의 증거로 널리 사용되지만, 이질적인 데이터 환경에서는 각 fold가 독립적인 실험도 아니며 동일한 양의 정보를 제공하지도 않습니다. 교차 상한 검증(Cross Upper-Bound Validation, CUBV)은 점별 CV 정확도를 실제 위험(true risk)에 대한 보수적인 상한으로 대체합니다. 본 연구에서는 일반화 격차(generalisation gap)의 적률생성함수(moment-generating function)가 큐뮬런트 포락선(cumulant envelope) gamma(lambda)에 의해 제어되는 단일 지수 프레임워크를 통해 CUBV를 일반화합니다. 이는 Hoeffding, Bernstein, 의존성 인식, PAC-Bayesian 및 이질적 소스 융합 설정을 포괄하는 일련의 위험 상한(risk bounds) 계열을 도출합니다. K-겹 CV의 경우, fold 간 격차의 의존성은 결합 서브 가우시안(sub-Gaussian) 프록시 행렬을 통해 모델링됩니다. 동등 상관(equicorrelation) 조건에서 이는 유효 fold 수 Keff = K/[1+(K-1)rho]를 산출하며, fold 간 의존성이 강할 때는 K를 늘려도 통계적 증거가 반드시 증가하지 않음을 보여줍니다. 또한 이 프레임워크는 예측기에 대한 사후 분포 및 가중 다중 소스 융합으로 확장되며, 여기서 가중치는 경험적 오차 단독이 아니라 미래 위험에 대한 상한을 최소화함으로써 선택됩니다. 이질적인 다봉 가우시안 혼합(heterogeneous multimodal Gaussian mixtures)에서 학습된 선형 분류기를 사용한 실험을 통해 K-겹 CV를 전체 표본 재대입(full-sample resubstitution) 및 위험 보정과 비교합니다. 상한은 커버리지와 긴밀도(tightness)를 기준으로 평가됩니다. 저차원 소규모 표본 설정에서는 개별 fold가 소수 모드(minority modes)를 충분히 반영하지 못하기 때문에 K-겹 분할이 불확실성을 증가시킬 수 있는 반면, 보정된 재대입은 여전히 유효하며 더 긴밀하게 유지될 수 있습니다. 이러한 효과는 표본 크기가 증가함에 따라 사라집니다. 종합적으로, gamma-CUBV는 관측된 성능, 불확실성, 의존성, 모델 복잡도, 신뢰도를 명시적인 항으로 분리하여, CV 점수에서 위험 진술로 이어지는 통합된 경로와 신경영상(neuroimaging)과 같은 이질적 소규모 표본 응용 분야를 위한 원칙적인 검증 기준을 제공합니다.

원문 초록

K-fold cross-validation (CV) is widely used as evidence of out-of-sample performance, although folds are neither independent experiments nor equally informative under heterogeneous data. Cross Upper-Bound Validation (CUBV) replaces point-wise CV accuracy by conservative upper bounds on true risk. Here we generalise CUBV through a single exponential framework in which the moment-generating function of the generalisation gap is controlled by a cumulant envelope gamma(lambda). This yields a family of risk bounds covering Hoeffding-, Bernstein-, dependency-aware, PAC-Bayesian, and heterogeneous source-fusion settings. For K-fold CV, dependence between fold-wise gaps is modelled through a joint sub-Gaussian proxy matrix. Under equicorrelation, this gives an effective number of folds, Keff = K/[1+(K-1)rho], showing that increasing K does not necessarily increase statistical evidence when folds are strongly dependent. The framework is also extended to posterior distributions over predictors and weighted multi-source fusion, where weights are selected by minimising an upper bound on future risk rather than empirical error alone. Experiments with trained linear classifiers on heterogeneous multimodal Gaussian mixtures compare K-fold CV with full-sample resubstitution plus risk correction. Bounds are evaluated by coverage and tightness. In low-dimensional small-sample settings, K-fold partitioning can increase uncertainty because individual folds under-represent minority modes, while corrected resubstitution can remain valid and tighter; this effect disappears as sample size increases. Overall, gamma-CUBV separates observed performance, uncertainty, dependence, model complexity, and confidence into explicit terms, providing a unified route from CV scores to risk statements and a principled validation criterion for heterogeneous small-sample applications such as neuroimaging.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03465v2제출 시각 미확인
  2. arXiv:2610.03465v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.