arXiv:2610.00993v1 stat.ML

상관된 테스트의 대가: 모델 릴리스 게이트는 얼마나 엄격해야 하는가?

The Price of Correlated Tests: How Strict Should a Model Release Gate Be?

Marco Pollanen

제출 2026-10-01

저자 비고

arXiv Comments

6 pages, 1 figure, 4 tables. Submitted to ACDSA 2027

한국어 초록

머신러닝 모델을 배포하기 전에는 대개 일련의 자동화된 테스트를 통과해야 합니다. 모든 테스트를 통과하도록 요구하는 것은 안전해 보이지만, 사용자에게 유용했을 많은 모델을 기각할 수 있으며, 통과한 모델이 실제로 얼마나 신뢰할 수 있는지 알려주지 않습니다. 본 연구에서는 릴리스 게이트를 설계 문제로 다룹니다. 즉, 통과된 모델이 명시된 신뢰성 목표를 충족하는 동시에 가능한 한 많은 우수한 모델을 유지하도록 모델이 통과해야 하는 테스트 수를 선택하는 문제입니다. 2-클래스 잠재 요인 모델을 통해 두 비용을 명시적으로 드러내고 각 계산을 1차원 적분으로 단순화합니다. 두 클래스가 동일한 잠재 상관관계를 공유할 때 더 엄격한 게이트가 항상 신뢰성을 높이므로, 우수한 모델을 가장 많이 유지하는 게이트는 목표를 여전히 충족하는 가장 관대한 게이트임을 증명합니다. 모든 테스트를 통과해야 하는 게이트 방식(pass-all gating)에서는 완벽에 가까운 어떤 신뢰성 목표도 모델 내에서 달성할 수 있지만, 테스트 모음이 커질수록 유지되는 우수한 모델의 비율은 0으로 수렴합니다. 테스트 간의 상관관계가 이러한 대가를 결정합니다. 한 구성에서는 99% 목표를 달성하기 위해 독립적인 테스트 8개가 필요하지만, 잠재 상관관계가 0.3일 때는 74개, 0.5일 때는 5,182개의 테스트가 필요하며 이때 게이트는 우수한 모델 10개 중 1개 미만만 유지합니다. 또한 게이트가 고정된 최종 후보군에서 선택되는 경우에도 라벨링된 데이터로부터 게이트를 인증하는 정확한 이항 경계 기반의 검증 절차를 제시합니다.

원문 초록

Before a machine learning model ships, it often has to pass a suite of automated tests. Requiring every test to pass looks safe, yet it can reject many models that would have served users well, and it does not say how trustworthy a passing model actually is. We treat the release gate as a design problem: choose how many tests a model must pass so that cleared models meet a stated reliability target, while keeping as many good models as possible. A two-class latent-factor model makes both costs explicit and reduces each calculation to a one-dimensional integral. We prove that when both classes share the same latent correlation, a stricter gate always raises reliability, so the gate that keeps the most good models is the most lenient one that still meets the target. Under pass-all gating, any reliability target short of perfection is attainable within the model, but the share of good models kept tends to zero as the suite grows. Correlation between tests sets the price. In one configuration, a 99 percent target needs 8 independent tests, but 74 tests at a latent correlation of 0.3 and 5,182 at 0.5, where the gate keeps fewer than one good model in ten. We also give a validation procedure, built on exact binomial bounds, that certifies a gate from labelled data even when the gate is chosen from a fixed shortlist.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00993v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.