Offline A/B testing for Recommender Systems
원문 초록
Before A/B testing online a new version of a recommender system, it is usual to perform some offline evaluations on historical data. We focus on evaluation methods that compute an estimator of the potential uplift in revenue that could generate this new technology. It helps to iterate faster and to avoid losing money by detecting poor policies. These estimators are known as counterfactual or off-policy estimators. We show that traditional counterfactual estimators such as capped importance sampling and normalised importance sampling are experimentally not having satisfying bias-variance compromises in the context of personalised product recommendation for online advertising. We propose two variants of counterfactual estimates with different modelling of the bias that prove to be accurate in real-world conditions. We provide a benchmark of these estimators by showing their correlation with business metrics observed by running online A/B tests on a commercial recommender system.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원시 참여를 넘어: Netflix 추천 시스템을 위한 반사실적 관측 가능성 프레임워크
Beyond Raw Engagement: A Counterfactual Observability Framework for Recommender Systems at Netflix
대규모 추천 시스템의 성능을 이해하는 일은 여전히 충분히 다루어지지 않은 과제이며, 특히 콘텐츠 제작자와 모델 개발자에게 그렇다. 그들에게 제공되는 조회수·클릭 같은 원시 참여 신호는 콘텐츠 품질, 모델 행동, 프레젠테이션 바이어스, 청중 도달 범위를 뒤섞어 결과를 올바른 원인에 귀속하기 어렵게 한다. 본 연구에서는 Netflix의 여러 추천 시스템 전반에서 관측 가능성을 높이는 일반적인 평가(evaluation) 프레임워크를 제시하고, 여러 프로덕션 배포를 통해 그 효과를 입증한다. 이 프레임워크는 추천 시스템 관측 가능성을 반사실적(counterfactual) 측정 문제로 본다. 즉, 특정 콘텐츠 항목이나 모델 결정이 없었을 때 추천 시스템이 어떻게 행동했을지, 그리고 그에 이어 어떤 참여가 발생했을지를 추정하는 것이다. 콘텐츠 제작자와 모델 개발자를 위한 이해관계자 중심의 관측 가능성 원칙 세 가지를 정립하고, 바이어스 감소, 상대성(relativity), 증분성(incrementality)을 다루는 측정 방법론을 제안한다. 이는 단일 단계 및 계단식(cascading) 추천 시스템 모두에 적용 가능하며, 단일 측정 기반 위에서 두 이해관계자 집단을 모두 지원한다.
문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습
Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits
문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.
Pinterest에서 효율적인 전자상거래 배분을 위한 딥러닝 인과적 검색 최적화
Deep-learning Causal Retrieval Optimization for Efficient e-commerce Distribution in Pinterest
Pinterest는 사용자가 아이디어를 탐색한 뒤 실행으로 옮기는 과정에서, 종종 쇼핑 가능(shoppable) 콘텐츠를 발견하며 영감을 행동으로 바꾸는 공간이다. 이 여정을 지원하려면 콘텐츠가 방해가 될 때가 아니라 도움이 될 때 상거래 콘텐츠를 배분해야 한다. 이를 초기 검색(retrieval) 단계에서 쇼핑 후보 생성기(candidate generator)를 트리거하는 인과적(causal) 의사결정으로 formulation하고, Pinterest에서 개인화되고 문맥화된 트리거 정책을 학습하는 프로덕션 시스템을 배포했다. 딥 멀티태스크 모델이 여러 이벤트의 결과(outcome)와 uplift를 공동 예측하며, 안정적인 단일-강건(single-robust) uplift 학습을 위해 보정(calibrated)된 outcome 손실과 함께 이중-강건(doubly-robust) pseudo-outcome으로 학습된다. 무작위화(randomized) 데이터 로깅이 counterfactual 커버리지를 제공하고, 모델은 전면적인 평가를 위해 regular metric과 reverse metric 모두로 평가된다. 선형 시간 offline replay가 임계값 선택과 정책 영향 예측을 위해 설계되었으며, 온라인 결과와 극히 높은 일치성을 보인다. 프로덕션화를 위해 모델은 end-to-end 지연(latency) 퇴보 없이 원격 검색 호출과 병렬로 실행된다. 웹 규모에서 쇼핑 트리거를 최대 85% 줄였고, 핵심 쇼핑 세션은 중립을 유지하면서 중요한 전체 세션(+0.26%)과 Pin 저장(+1.10%)을 개선했으며, 상당한 인프라 절감을 달성했다. 딥 인과 학습과 신뢰할 수 있는 offline replay를 통합하고 프로덕션급 배포를 입증함으로써, 본 연구는 쇼핑을 넘어 현대의 cascading recommender에서 초기 검색 최적화를 위한 일반적으로 실용적인 방법을 제시하며, 대규모로 사용자 의도에 맞춰 탐험(exploration)과 비용을 정렬한다.
반사실 추정을 통한 A/B 테스트 가속화: 정책 겹침을 통한 분산 감소
Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap
온라인 통제 실험은 온라인 플랫폼에서 가설 검정의 황금 표준이다. 보편적으로 사용됨에도 불구하고 실행 비용이 매우 높으며, 분산 문제가 처치 효과(treatment effect) 평가의 통계적 검정력을 저해한다. 표준 분산 감소 기법은 모델 기반 통제 변량(control variates)을 활용해 결과 노이즈를 줄이지만, 경쟁 정책 간 잠재적 구조적 관계에는 무관하다. 본 연구에서는 표준 A/B 테스트 프로토콜의 중요한 비효율을 확인한다: 처치 정책과 대조 정책이 동일한 행동(action)에 동의할 때, 그 결과는 처치 효과에 관한 신호 없이 노이즈만 기여하여—불필요하게 신뢰 구간을 팽창시킨다. 우리는 이러한 정책 겹침(policy overlap)을 활용해 실험을 가속화하는 새로운 실험 프로토콜을 제안한다. 핵심 통찰은 무작위 처치 배정 메커니즘을 메타-정책(meta-policy)으로 구성하고, $Δ$-Off-Policy Estimation 방법을 활용해 평균 처치 효과에 대한 편향 없는(unbiased) 추정치를 얻는 것이다. 우리는 해석적으로 본 접근법이 일반적인 경우 표준 A/B 테스트 관행을 복원함을 증명하며, 그 분산은 원시 결과 분산이 아니라 정책 간 발산(divergence)에 비례함을 보인다. 따라서 정책이 공통 지지(common support)를 가질 때 표준 평균 차(Difference-in-Means) 추정량을 지배(d dominate)하며, 겹침 영역이 0이 아닌 잔차 분산(residual variance)을 기여할 때 개선은 엄격(strict)하다. 실증 결과는 이러한 이론적 통찰을 뒷받침하며—추천 시스템, 정보 검색(information retrieval) 파이프라인, 대규모 언어 모델 인터페이스의 실세계 평가에 상당한 영향을 미칠 가능성을 보여준다.
개입 개인화 효과를 위한 통계적 검정
A Statistical Test for the Benefits of Personalizing Interventions
의학에서 마케팅, 사회과학에 이르기까지 개인에게 맞춤화된 개입을 제공한다는 가능성은 부인할 수 없다. 그러나 실제 적용에서는 개인화의 잠재적 이점과 그로 인한 비용 증가 및 취약성을 균형 있게 고려해야 한다. 우리는 역사적 데이터를 기반으로, 개인화된 개입 정책의 성능이 단일 최적 개입을 일괄 적용하는 방식을 능가할 것이라는 증거를 평가하는 통계적 가설 검정을 제안한다. 이 검정은 엄격한 1종 오류 제어를 유지하면서, 명시된 조건하에 최소 가능 분산으로 점근적 정규성을 달성한다. 직업 학습, 우울증 치료, 교육 및 추천 시스템 등 다양한 데이터셋에 대한 실험 결과는 이 검정의 범용성과 대안 방법들에 비한 우수한 성능을 입증한다. 이 검정은 개인화의 잠재적 이점을 간단하고 강력하게 정량화함으로써 개입 과학 전반에 걸쳐 의사결정자를 지원할 수 있다.
대규모 개인화 알고리즘 블랙박스 감사 자동화를 위한 AI 에이전트 활용
Using AI Agents to Automate Black-Box Audits of Personalization Algorithms at Scale
개인화 알고리즘은 온라인 플랫폼에서 사용자가 접하는 콘텐츠를 결정한다. 독립적인 감사자는 알고리즘에 블랙박스 방식으로만 접근할 수 있으며, 개인화는 사용자의 속성, 행동, 그리고 변화하는 상호작용 이력에 의존하기 때문에 이러한 시스템을 감사하는 것은 어렵다. 기존 감사 방법은 트레이드오프에 직면해 있다. 실제 사용자를 대상으로 한 연구는 현실적인 행동을 포착하지만 비용이 많이 들고 통제하기 어려운 반면, 소위 '양말 인형(sock-puppet)' 감사는 더 쉽게 확장할 수 있으나 현실성을 제한하는 스크립트 기반 행동에 의존하는 경우가 많다. 이에 더해, 두 접근법 모두 사용자 속성과 사용자 행동을 분리하는 데 어려움을 겪어, 개인화를 인과적으로 이해하는 능력을 제한한다. 이 간극을 해소하기 위해, 우리는 생성형 AI 에이전트를 합성 계정의 행동 엔진으로 활용하는 개인화 알고리즘 블랙박스 감사 프레임워크를 소개한다. 각 에이전트는 인구통계 및 정치적 설문 데이터에 기반한 고정된 페르소나(persona)로 초기화되며, 플랫폼의 콘텐츠에 대해 추론하고 행동을 선택함으로써 상호작용한다. 행동은 각 페르소나 내에서 고정되는 반면, 연령·성별·위치 등 플랫폼에 노출되는 신호는 실험적으로 변경할 수 있기 때문에, 우리의 설계는 플랫폼이 사용자 속성에 반응하는 방식에 대한 반사실적(counterfactual) 감사를 가능하게 한다. 사례 연구로서, 우리는 2024년 미국 대선 직후 X에 1,120개의 에이전트를 배포하여 14개의 페르소나와 세 가지 반사실적 조건을 포괄하며 20만 건 이상의 콘텐츠 노출 데이터를 수집하였다. 분석 결과, X의 알고리즘 피드는 시간순 피드에 비해 독성적이고, 양극화되고, 정치적이며 우편향적인 콘텐츠를 증폭시키며, 그 증폭 정도는 사용자의 이념에 따라 크게 달라지는 것으로 나타났다. 반사실적 분석에 따르면 인구통계 신호는 페르소나에 따라 다른 방식으로 콘텐츠 전달에 영향을 미치며, 통합된 효과는 대체로 유의하지 않은 반면 하위 집단 수준의 효과는 방향과 크기 모두에서 차이를 보였다. 본 연구는 생성형 AI 기반 에이전트를 알고리즘 감사의 새로운 도구로 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.