Entire Space Counterfactual Learning: Tuning, Analytical Properties and Industrial Applications
원문 초록
As a basic research problem for building effective recommender systems, post-click conversion rate (CVR) estimation has long been plagued by sample selection bias and data sparsity issues. To address the data sparsity issue, prevalent methods based on entire space multi-task model leverage the sequential pattern of user actions, i.e. exposure $\rightarrow$ click $\rightarrow$ conversion to construct auxiliary learning tasks. However, they still fall short of guaranteeing the unbiasedness of CVR estimates. This paper theoretically demonstrates two defects of these entire space multi-task models: (1) inherent estimation bias (IEB) for CVR estimation, where the CVR estimate is inherently higher than the ground truth; (2) potential independence priority (PIP) for CTCVR estimation, where the causality from click to conversion might be overlooked. This paper further proposes a principled method named entire space counterfactual multi-task model (ESCM$^2$), which employs a counterfactual risk minimizer to handle both IEB and PIP issues at once. To demonstrate the effectiveness of the proposed method, this paper explores its parameter tuning in practice, derives its analytic properties, and showcases its effectiveness in industrial CVR estimation, where ESCM$^2$ can effectively alleviate the intrinsic IEB and PIP issues and outperform baseline models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원시 참여를 넘어: Netflix 추천 시스템을 위한 반사실적 관측 가능성 프레임워크
Beyond Raw Engagement: A Counterfactual Observability Framework for Recommender Systems at Netflix
대규모 추천 시스템의 성능을 이해하는 일은 여전히 충분히 다루어지지 않은 과제이며, 특히 콘텐츠 제작자와 모델 개발자에게 그렇다. 그들에게 제공되는 조회수·클릭 같은 원시 참여 신호는 콘텐츠 품질, 모델 행동, 프레젠테이션 바이어스, 청중 도달 범위를 뒤섞어 결과를 올바른 원인에 귀속하기 어렵게 한다. 본 연구에서는 Netflix의 여러 추천 시스템 전반에서 관측 가능성을 높이는 일반적인 평가(evaluation) 프레임워크를 제시하고, 여러 프로덕션 배포를 통해 그 효과를 입증한다. 이 프레임워크는 추천 시스템 관측 가능성을 반사실적(counterfactual) 측정 문제로 본다. 즉, 특정 콘텐츠 항목이나 모델 결정이 없었을 때 추천 시스템이 어떻게 행동했을지, 그리고 그에 이어 어떤 참여가 발생했을지를 추정하는 것이다. 콘텐츠 제작자와 모델 개발자를 위한 이해관계자 중심의 관측 가능성 원칙 세 가지를 정립하고, 바이어스 감소, 상대성(relativity), 증분성(incrementality)을 다루는 측정 방법론을 제안한다. 이는 단일 단계 및 계단식(cascading) 추천 시스템 모두에 적용 가능하며, 단일 측정 기반 위에서 두 이해관계자 집단을 모두 지원한다.
문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습
Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits
문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.
Pinterest에서 효율적인 전자상거래 배분을 위한 딥러닝 인과적 검색 최적화
Deep-learning Causal Retrieval Optimization for Efficient e-commerce Distribution in Pinterest
Pinterest는 사용자가 아이디어를 탐색한 뒤 실행으로 옮기는 과정에서, 종종 쇼핑 가능(shoppable) 콘텐츠를 발견하며 영감을 행동으로 바꾸는 공간이다. 이 여정을 지원하려면 콘텐츠가 방해가 될 때가 아니라 도움이 될 때 상거래 콘텐츠를 배분해야 한다. 이를 초기 검색(retrieval) 단계에서 쇼핑 후보 생성기(candidate generator)를 트리거하는 인과적(causal) 의사결정으로 formulation하고, Pinterest에서 개인화되고 문맥화된 트리거 정책을 학습하는 프로덕션 시스템을 배포했다. 딥 멀티태스크 모델이 여러 이벤트의 결과(outcome)와 uplift를 공동 예측하며, 안정적인 단일-강건(single-robust) uplift 학습을 위해 보정(calibrated)된 outcome 손실과 함께 이중-강건(doubly-robust) pseudo-outcome으로 학습된다. 무작위화(randomized) 데이터 로깅이 counterfactual 커버리지를 제공하고, 모델은 전면적인 평가를 위해 regular metric과 reverse metric 모두로 평가된다. 선형 시간 offline replay가 임계값 선택과 정책 영향 예측을 위해 설계되었으며, 온라인 결과와 극히 높은 일치성을 보인다. 프로덕션화를 위해 모델은 end-to-end 지연(latency) 퇴보 없이 원격 검색 호출과 병렬로 실행된다. 웹 규모에서 쇼핑 트리거를 최대 85% 줄였고, 핵심 쇼핑 세션은 중립을 유지하면서 중요한 전체 세션(+0.26%)과 Pin 저장(+1.10%)을 개선했으며, 상당한 인프라 절감을 달성했다. 딥 인과 학습과 신뢰할 수 있는 offline replay를 통합하고 프로덕션급 배포를 입증함으로써, 본 연구는 쇼핑을 넘어 현대의 cascading recommender에서 초기 검색 최적화를 위한 일반적으로 실용적인 방법을 제시하며, 대규모로 사용자 의도에 맞춰 탐험(exploration)과 비용을 정렬한다.
반사실 추정을 통한 A/B 테스트 가속화: 정책 겹침을 통한 분산 감소
Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap
온라인 통제 실험은 온라인 플랫폼에서 가설 검정의 황금 표준이다. 보편적으로 사용됨에도 불구하고 실행 비용이 매우 높으며, 분산 문제가 처치 효과(treatment effect) 평가의 통계적 검정력을 저해한다. 표준 분산 감소 기법은 모델 기반 통제 변량(control variates)을 활용해 결과 노이즈를 줄이지만, 경쟁 정책 간 잠재적 구조적 관계에는 무관하다. 본 연구에서는 표준 A/B 테스트 프로토콜의 중요한 비효율을 확인한다: 처치 정책과 대조 정책이 동일한 행동(action)에 동의할 때, 그 결과는 처치 효과에 관한 신호 없이 노이즈만 기여하여—불필요하게 신뢰 구간을 팽창시킨다. 우리는 이러한 정책 겹침(policy overlap)을 활용해 실험을 가속화하는 새로운 실험 프로토콜을 제안한다. 핵심 통찰은 무작위 처치 배정 메커니즘을 메타-정책(meta-policy)으로 구성하고, $Δ$-Off-Policy Estimation 방법을 활용해 평균 처치 효과에 대한 편향 없는(unbiased) 추정치를 얻는 것이다. 우리는 해석적으로 본 접근법이 일반적인 경우 표준 A/B 테스트 관행을 복원함을 증명하며, 그 분산은 원시 결과 분산이 아니라 정책 간 발산(divergence)에 비례함을 보인다. 따라서 정책이 공통 지지(common support)를 가질 때 표준 평균 차(Difference-in-Means) 추정량을 지배(d dominate)하며, 겹침 영역이 0이 아닌 잔차 분산(residual variance)을 기여할 때 개선은 엄격(strict)하다. 실증 결과는 이러한 이론적 통찰을 뒷받침하며—추천 시스템, 정보 검색(information retrieval) 파이프라인, 대규모 언어 모델 인터페이스의 실세계 평가에 상당한 영향을 미칠 가능성을 보여준다.
개입 개인화 효과를 위한 통계적 검정
A Statistical Test for the Benefits of Personalizing Interventions
의학에서 마케팅, 사회과학에 이르기까지 개인에게 맞춤화된 개입을 제공한다는 가능성은 부인할 수 없다. 그러나 실제 적용에서는 개인화의 잠재적 이점과 그로 인한 비용 증가 및 취약성을 균형 있게 고려해야 한다. 우리는 역사적 데이터를 기반으로, 개인화된 개입 정책의 성능이 단일 최적 개입을 일괄 적용하는 방식을 능가할 것이라는 증거를 평가하는 통계적 가설 검정을 제안한다. 이 검정은 엄격한 1종 오류 제어를 유지하면서, 명시된 조건하에 최소 가능 분산으로 점근적 정규성을 달성한다. 직업 학습, 우울증 치료, 교육 및 추천 시스템 등 다양한 데이터셋에 대한 실험 결과는 이 검정의 범용성과 대안 방법들에 비한 우수한 성능을 입증한다. 이 검정은 개인화의 잠재적 이점을 간단하고 강력하게 정량화함으로써 개입 과학 전반에 걸쳐 의사결정자를 지원할 수 있다.
CausalGame: 게임 환경에서 LLM 에이전트의 인과적 사고 벤치마킹
CausalGame: Benchmarking Causal Thinking of LLM Agents in Games
대규모 언어 모델(LLM)을 활용한 AI 과학자 에이전트 구축이 최근 주목받고 있다. 과학적 발견은 근본적으로 관측에서 인과 관계를 밝혀내는 과정에 의존하므로, 인과적 사고 능력—즉 인과관계와 상관관계를 구분하고 숨겨진 바이어스를 인식하는 능력—은 LLM 에이전트에게 필수적이다. AI 과학자를 위한 벤치마크가 다수 존재하지만, 실제 과학적 발견에서 광범위하게 나타나는 선택 바이어스(selection bias), 측정 오차(measurement error), 숨겨진 교란 변수(hidden confounders)로 인한 도전을 명시적으로 포함한 벤치마크는 없다. 이를 위해 우리는 인터랙티브 게임을 통해 LLM 에이전트의 인과적 사고 능력을 평가하는 벤치마크인 CausalGame을 제시한다. CausalGame은 LLM 에이전트가 실험 프로토콜을 능동적으로 설계하고, 관측 데이터를 수집하며, 설명 보고서와 함께 최종 해답을 도출하도록 요구한다. 현실적인 과학적 발견의 도전을 모사하기 위해, 선택 바이어스, 측정 오차, 숨겨진 교란 변수를 포함하는 14가지 시나리오를 설계하였다. 30개의 LLM 에이전트 전체에 걸쳐 신뢰할 수 있는 인과적 사고를 보인 모델은 없었다. 최고 성능 모델도 분석적 최적값인 78~85% 대비 생존율이 68.0%에 그쳤으며, 인과 추론 평가 기준에서 점수를 획득한 세션은 5~7%에 불과하였다. CausalGame은 AI 과학자 에이전트의 인과적 사고를 평가하기 위한 확장 가능하고 통제된 테스트베드를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.