arXiv:1612.00367

Large-scale Validation of Counterfactual Learning Methods: A Test-Bed

Damien Lefortier, Adith Swaminathan, Xiaotao Gu, Thorsten Joachims, Maarten de Rijke

제출 2016-12-01

원문 초록

The ability to perform effective off-policy learning would revolutionize the process of building better interactive systems, such as search engines and recommendation systems for e-commerce, computational advertising and news. Recent approaches for off-policy evaluation and learning in these settings appear promising. With this paper, we provide real-world data and a standardized test-bed to systematically investigate these algorithms using data from display advertising. In particular, we consider the problem of filling a banner ad with an aggregate of multiple products the user may want to purchase. This paper presents our test-bed, the sanity checks we ran to ensure its validity, and shows results comparing state-of-the-art off-policy learning methods like doubly robust optimization, POEM, and reductions to supervised learning using regression baselines. Our results show experimental evidence that recent off-policy learning methods can improve upon state-of-the-art supervised learning techniques on a large-scale real-world data set.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22012v1cs.LG공통 태그 Recommendation Systems, counterfactual, Off-policy evaluation

문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.

arXiv:2609.22747v1cs.IR공통 태그 Recommendation Systems, counterfactual

원시 참여를 넘어: Netflix 추천 시스템을 위한 반사실적 관측 가능성 프레임워크

Beyond Raw Engagement: A Counterfactual Observability Framework for Recommender Systems at Netflix

대규모 추천 시스템의 성능을 이해하는 일은 여전히 충분히 다루어지지 않은 과제이며, 특히 콘텐츠 제작자와 모델 개발자에게 그렇다. 그들에게 제공되는 조회수·클릭 같은 원시 참여 신호는 콘텐츠 품질, 모델 행동, 프레젠테이션 바이어스, 청중 도달 범위를 뒤섞어 결과를 올바른 원인에 귀속하기 어렵게 한다. 본 연구에서는 Netflix의 여러 추천 시스템 전반에서 관측 가능성을 높이는 일반적인 평가(evaluation) 프레임워크를 제시하고, 여러 프로덕션 배포를 통해 그 효과를 입증한다. 이 프레임워크는 추천 시스템 관측 가능성을 반사실적(counterfactual) 측정 문제로 본다. 즉, 특정 콘텐츠 항목이나 모델 결정이 없었을 때 추천 시스템이 어떻게 행동했을지, 그리고 그에 이어 어떤 참여가 발생했을지를 추정하는 것이다. 콘텐츠 제작자와 모델 개발자를 위한 이해관계자 중심의 관측 가능성 원칙 세 가지를 정립하고, 바이어스 감소, 상대성(relativity), 증분성(incrementality)을 다루는 측정 방법론을 제안한다. 이는 단일 단계 및 계단식(cascading) 추천 시스템 모두에 적용 가능하며, 단일 측정 기반 위에서 두 이해관계자 집단을 모두 지원한다.

arXiv:2607.14161v1cs.IR공통 태그 Recommendation Systems, counterfactual

Pinterest에서 효율적인 전자상거래 배분을 위한 딥러닝 인과적 검색 최적화

Deep-learning Causal Retrieval Optimization for Efficient e-commerce Distribution in Pinterest

Pinterest는 사용자가 아이디어를 탐색한 뒤 실행으로 옮기는 과정에서, 종종 쇼핑 가능(shoppable) 콘텐츠를 발견하며 영감을 행동으로 바꾸는 공간이다. 이 여정을 지원하려면 콘텐츠가 방해가 될 때가 아니라 도움이 될 때 상거래 콘텐츠를 배분해야 한다. 이를 초기 검색(retrieval) 단계에서 쇼핑 후보 생성기(candidate generator)를 트리거하는 인과적(causal) 의사결정으로 formulation하고, Pinterest에서 개인화되고 문맥화된 트리거 정책을 학습하는 프로덕션 시스템을 배포했다. 딥 멀티태스크 모델이 여러 이벤트의 결과(outcome)와 uplift를 공동 예측하며, 안정적인 단일-강건(single-robust) uplift 학습을 위해 보정(calibrated)된 outcome 손실과 함께 이중-강건(doubly-robust) pseudo-outcome으로 학습된다. 무작위화(randomized) 데이터 로깅이 counterfactual 커버리지를 제공하고, 모델은 전면적인 평가를 위해 regular metric과 reverse metric 모두로 평가된다. 선형 시간 offline replay가 임계값 선택과 정책 영향 예측을 위해 설계되었으며, 온라인 결과와 극히 높은 일치성을 보인다. 프로덕션화를 위해 모델은 end-to-end 지연(latency) 퇴보 없이 원격 검색 호출과 병렬로 실행된다. 웹 규모에서 쇼핑 트리거를 최대 85% 줄였고, 핵심 쇼핑 세션은 중립을 유지하면서 중요한 전체 세션(+0.26%)과 Pin 저장(+1.10%)을 개선했으며, 상당한 인프라 절감을 달성했다. 딥 인과 학습과 신뢰할 수 있는 offline replay를 통합하고 프로덕션급 배포를 입증함으로써, 본 연구는 쇼핑을 넘어 현대의 cascading recommender에서 초기 검색 최적화를 위한 일반적으로 실용적인 방법을 제시하며, 대규모로 사용자 의도에 맞춰 탐험(exploration)과 비용을 정렬한다.

arXiv:2607.14604v1cs.LG공통 태그 Recommendation Systems, counterfactual

반사실 추정을 통한 A/B 테스트 가속화: 정책 겹침을 통한 분산 감소

Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap

온라인 통제 실험은 온라인 플랫폼에서 가설 검정의 황금 표준이다. 보편적으로 사용됨에도 불구하고 실행 비용이 매우 높으며, 분산 문제가 처치 효과(treatment effect) 평가의 통계적 검정력을 저해한다. 표준 분산 감소 기법은 모델 기반 통제 변량(control variates)을 활용해 결과 노이즈를 줄이지만, 경쟁 정책 간 잠재적 구조적 관계에는 무관하다. 본 연구에서는 표준 A/B 테스트 프로토콜의 중요한 비효율을 확인한다: 처치 정책과 대조 정책이 동일한 행동(action)에 동의할 때, 그 결과는 처치 효과에 관한 신호 없이 노이즈만 기여하여—불필요하게 신뢰 구간을 팽창시킨다. 우리는 이러한 정책 겹침(policy overlap)을 활용해 실험을 가속화하는 새로운 실험 프로토콜을 제안한다. 핵심 통찰은 무작위 처치 배정 메커니즘을 메타-정책(meta-policy)으로 구성하고, $Δ$-Off-Policy Estimation 방법을 활용해 평균 처치 효과에 대한 편향 없는(unbiased) 추정치를 얻는 것이다. 우리는 해석적으로 본 접근법이 일반적인 경우 표준 A/B 테스트 관행을 복원함을 증명하며, 그 분산은 원시 결과 분산이 아니라 정책 간 발산(divergence)에 비례함을 보인다. 따라서 정책이 공통 지지(common support)를 가질 때 표준 평균 차(Difference-in-Means) 추정량을 지배(d dominate)하며, 겹침 영역이 0이 아닌 잔차 분산(residual variance)을 기여할 때 개선은 엄격(strict)하다. 실증 결과는 이러한 이론적 통찰을 뒷받침하며—추천 시스템, 정보 검색(information retrieval) 파이프라인, 대규모 언어 모델 인터페이스의 실세계 평가에 상당한 영향을 미칠 가능성을 보여준다.

arXiv:2607.15067v1cs.LG공통 태그 counterfactual, Off-policy evaluation

문맥적 밴딧에서 오프-정책 평가를 위한 커널 가중 중요도 샘플링

Kernel weighted importance sampling for off-policy evaluation in contextual bandits

본 논문은 문맥적 밴딧에 대해 오프라인 데이터만을 사용하여 오프-정책 평가를 수행하기 위한 새로운 추정량을 제안한다. 제안된 추정량인 Kernel-WIS는 점근적으로 일치함이 보여졌으며, 특히 행동 정책 오지정(behaviour policy miss-specification)을 포함한 복잡한 조건에서 강력한 기준선(바닐라 가중 중요도 샘플링 포함)보다 실험적으로 우수한 성능을 보였다. Kernel-WIS의 이점은 바닐라 가중 중요도 샘플링의 유계성(bounded property)과 바닐라 중요도 샘플링의 선형성(linearity)을 결합하는 데서 나온다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.