표본 효율적인 온라인 A/B 테스트를 위한 분산 최적 반사실적 정책 설계
Variance-Optimal Counterfactual Policy Design for Sample-Efficient Online A/B Testing
한국어 초록
온라인 A/B 테스트는 새로운 추천 또는 순위 정책과 같은 사용자 대면 시스템의 변경 사항을 배포 전에 평가하는 표준적인 방법이다. 표준 A/B 테스트의 평균 차이 추정량은 불편추정량이지만 분산이 큰 경우가 많다. 처리 정책과 운영 정책이 유사한 확률로 동일한 행동을 선택하면, 그 결과로 얻어지는 관측은 두 정책의 차이에 대해 정보를 거의 제공하지 못하면서 잡음만 더할 수 있다. 결과적으로 A/B 테스트는 작은 처리 효과를 탐지하는 데 많은 트래픽과 긴 기간을 요구할 수 있다. 기존의 분산 감소 방법은 주로 데이터 수집 방식이 고정된 이후에 추정량을 개선하며, 최근의 중첩 인지 설계는 두 정책 간의 단일 트래픽 분할만 최적화하므로 정책이 서로 다른 행동으로 트래픽을 유도할 수 없다. 본 논문에서는 행동을 표집하는 방식과 그 결과 관측을 처리 효과 추정에 사용하는 방식을 함께 최적화한다. 기여는 두 가지이다. 첫째, 쌍별 오프폴리시 평가를 바탕으로 두 정책 간 평균 처리 효과를 추정하기 위한 분산 최적 행동 수준 로깅 정책을 도출하며, 이는 임의의 고정된 통제 변량에 대해 닫힌 형태의 해를 갖는다. 둘째, 과거 로그를 사용하여 로깅 정책과 통제 변량을 함께 최적화함으로써 분산을 더욱 줄인다. 시뮬레이션된 정책 A/B 테스트 실험 결과, 제안한 설계는 평가한 모든 설정에서 기존 분산 감소 방법보다 평균 처리 효과를 더 정확하게 추정하였으며, 일반적으로 통계적 검정력을 높이고 더 나쁜 정책이 선택되는 빈도를 줄였다. 그 결과 제안한 설계는 실무자가 훨씬 적은 온라인 트래픽으로 신뢰할 수 있는 배포 결정에 도달할 수 있게 한다.
원문 초록
Online A/B testing is the standard approach for evaluating changes to user-facing systems, such as a new recommendation or ranking policy, before deployment. While the difference-in-means estimator of a standard A/B test is unbiased, it often suffers from high variance. When the treatment and production policies choose the same actions with similar probabilities, the resulting observations can add noise while providing little information about the difference between the policies. Consequently, A/B tests can require large amounts of traffic and long durations to detect small treatment effects. Existing variance-reduction methods mainly improve the estimator after the data-collection scheme has been fixed, and recent overlap-aware designs only optimize a single traffic split between the two policies; thereby, they cannot direct traffic to the actions on which the policies disagree. In this paper, we jointly optimize how actions are sampled and how the resulting observations are used to estimate the treatment effect. Our contributions are two-fold. First, building on pairwise off-policy evaluation, we derive the variance-optimal action-level logging policy for estimating the average treatment effect between two policies, which has a closed-form solution for any fixed control variate. Second, we use historical logs to jointly optimize the logging policy and a control variate to further reduce variance. Our experimental results in simulated policy A/B tests show that our designs estimate the average treatment effect more accurately than existing variance reduction methods on every evaluated setting, while generally improving statistical power and reducing how often the worse policy is selected. As a result, our designs enable practitioners to reach reliable deployment decisions with considerably less online traffic.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24757v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.