trentu.ca

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.00993v1stat.ML

상관된 테스트의 대가: 모델 릴리스 게이트는 얼마나 엄격해야 하는가?

The Price of Correlated Tests: How Strict Should a Model Release Gate Be?

머신러닝 모델을 배포하기 전에는 대개 일련의 자동화된 테스트를 통과해야 합니다. 모든 테스트를 통과하도록 요구하는 것은 안전해 보이지만, 사용자에게 유용했을 많은 모델을 기각할 수 있으며, 통과한 모델이 실제로 얼마나 신뢰할 수 있는지 알려주지 않습니다. 본 연구에서는 릴리스 게이트를 설계 문제로 다룹니다. 즉, 통과된 모델이 명시된 신뢰성 목표를 충족하는 동시에 가능한 한 많은 우수한 모델을 유지하도록 모델이 통과해야 하는 테스트 수를 선택하는 문제입니다. 2-클래스 잠재 요인 모델을 통해 두 비용을 명시적으로 드러내고 각 계산을 1차원 적분으로 단순화합니다. 두 클래스가 동일한 잠재 상관관계를 공유할 때 더 엄격한 게이트가 항상 신뢰성을 높이므로, 우수한 모델을 가장 많이 유지하는 게이트는 목표를 여전히 충족하는 가장 관대한 게이트임을 증명합니다. 모든 테스트를 통과해야 하는 게이트 방식(pass-all gating)에서는 완벽에 가까운 어떤 신뢰성 목표도 모델 내에서 달성할 수 있지만, 테스트 모음이 커질수록 유지되는 우수한 모델의 비율은 0으로 수렴합니다. 테스트 간의 상관관계가 이러한 대가를 결정합니다. 한 구성에서는 99% 목표를 달성하기 위해 독립적인 테스트 8개가 필요하지만, 잠재 상관관계가 0.3일 때는 74개, 0.5일 때는 5,182개의 테스트가 필요하며 이때 게이트는 우수한 모델 10개 중 1개 미만만 유지합니다. 또한 게이트가 고정된 최종 후보군에서 선택되는 경우에도 라벨링된 데이터로부터 게이트를 인증하는 정확한 이항 경계 기반의 검증 절차를 제시합니다.