arXiv:2211.01518

Bayesian Counterfactual Mean Embeddings and Off-Policy Evaluation

Diego Martinez-Taboada, Dino Sejdinovic

제출 2022-11-02

원문 초록

The counterfactual distribution models the effect of the treatment in the untreated group. While most of the work focuses on the expected values of the treatment effect, one may be interested in the whole counterfactual distribution or other quantities associated to it. Building on the framework of Bayesian conditional mean embeddings, we propose a Bayesian approach for modeling the counterfactual distribution, which leads to quantifying the epistemic uncertainty about the distribution. The framework naturally extends to the setting where one observes multiple treatment effects (e.g. an intermediate effect after an interim period, and an ultimate treatment effect which is of main interest) and allows for additionally modelling uncertainty about the relationship of these effects. For such goal, we present three novel Bayesian methods to estimate the expectation of the ultimate treatment effect, when only noisy samples of the dependence between intermediate and ultimate effects are provided. These methods differ on the source of uncertainty considered and allow for combining two sources of data. Moreover, we generalize these ideas to the off-policy evaluation framework, which can be seen as an extension of the counterfactual estimation problem. We empirically explore the calibration of the algorithms in two different experimental settings which require data fusion, and illustrate the value of considering the uncertainty stemming from the two sources of data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22012v1cs.LG공통 태그 counterfactual, Off-policy evaluation

문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.

arXiv:2607.15067v1cs.LG공통 태그 counterfactual, Off-policy evaluation

문맥적 밴딧에서 오프-정책 평가를 위한 커널 가중 중요도 샘플링

Kernel weighted importance sampling for off-policy evaluation in contextual bandits

본 논문은 문맥적 밴딧에 대해 오프라인 데이터만을 사용하여 오프-정책 평가를 수행하기 위한 새로운 추정량을 제안한다. 제안된 추정량인 Kernel-WIS는 점근적으로 일치함이 보여졌으며, 특히 행동 정책 오지정(behaviour policy miss-specification)을 포함한 복잡한 조건에서 강력한 기준선(바닐라 가중 중요도 샘플링 포함)보다 실험적으로 우수한 성능을 보였다. Kernel-WIS의 이점은 바닐라 가중 중요도 샘플링의 유계성(bounded property)과 바닐라 중요도 샘플링의 선형성(linearity)을 결합하는 데서 나온다.

arXiv:2606.17515v1stat.ME공통 태그 counterfactual, Off-policy evaluation

언제든 유효한 최적 정책 식별

Anytime-valid Optimal Policy Identification

우리는 기록된 문맥형 밴딧 데이터로부터 최적 정책을 식별하기 위한 언제든 유효한 프레임워크를 개발합니다. 많은 응용 설정에서 분석가는 후보 정책 클래스 $Π$ 내에서 최적 정책을 선택하고자 하지만, 데이터는 분석가가 제어할 수 없는 외부적으로 결정된 로깅 정책에 의해 생성됩니다. 분석가는 또한 증거를 지속적으로 모니터링하고, 미리 고정된 표본 크기에 얽매이는 대신 최적 정책이 명확해지는 시점에 중단하기를 원할 수 있습니다. 본 논문은 시간에 대해 높은 확률로 균일하게 참 최적 정책 집합을 유지하는 시간 인덱스 집합 $S_t$를 구성하여 이러한 문제를 해결합니다. 결과적인 절차를 통해 분석가는 정책 가치를 모니터링하고, 명백히 비최적인 정책을 제거하며, 추론(inference)을 무효화하지 않으면서 데이터 의존적인 시점에 중단할 수 있습니다. 최적 정책이 유일한 경우, 우리는 그 식별을 위한 정지 시간을 정의하고, $Δ_{\min}$을 최상의 정책 가치와 차선의 정책 가치 사이의 격차라고 할 때 $O\!\left(\frac{\log |Π|+\log\log(1/Δ_{\min})}{Δ_{\min}^2}\right)$의 비율로 스케일링되는 표본 복잡도 상한을 도출합니다. 시뮬레이션 결과, 언제든 유효한 접근 방식이 고정-$N$ 설계에 비해 상당한 표본 절약 효과를 낼 수 있음이 입증되었습니다. 온라인상의 잘못된 정보를 줄이기 위한 대규모 적응형 실험에 대한 적용 사례는 최적 정책에 대한 증거가 축적됨에 따라 본 방법이 동적인 관점을 어떻게 제공하는지 보여줍니다.

arXiv:2606.07308v1cs.AI공통 태그 counterfactual, Off-policy evaluation

국소적 공개를 통한 전략적 에이전트의 오프-정책 평가

Off-Policy Evaluation with Strategic Agents via Local Disclosure

우리는 의사결정 대상(또는 에이전트)이 의사결정자의 정책에 대응하여 공변량(covariate)을 전략적으로 수정하는 전략적 행동 하에서 오프-정책 평가(OPE)를 연구한다. 이러한 행동은 정책 의존적 공변량 이동(covariate shift)을 유발하여, 공변량이 정책에 대해 외생적(exogenous)이라는 기존 방법들의 표준 가정을 깨뜨린다. 관련 연구는 반복적 상호작용이나 에이전트의 반응 행동에 대한 완전한 지식과 같은 강한 가정을 부과함으로써 이 과제를 다루며, 이는 OPE에 대한 적용 가능성을 실질적으로 제한한다. 대조적으로, 우리는 의사결정자가 에이전트의 반응 행동에 대해 부분적인 지식만을 갖는 일회성(one-shot) OPE 설정을 고려한다. 우리의 핵심 통찰은, 사후 설명(post-hoc explanation)을 통해 국소적 정보를 공개하면 적응(adaptation) 이전의 에이전트의 전략 전(pre-strategic) 공변량이 드러나 전략적 행동으로 인한 정보 손실을 완화할 수 있다는 것이다. 이 구조를 활용하여, 우리는 에이전트의 반응에 대한 통계 모델을 추정하고 정책 가치(policy value)에 대한 이중 강건(doubly robust) 추정량을 구성한다. 에이전트의 비용 민감도(cost sensitivity)가 조건부 로그-정규 분포(conditional log-normal distribution)를 따른다고 가정함으로써, 제안한 추정량의 일관성(consistency)을 확립하고 실증적으로 접근법을 검증한다. 더 넓게 보면, 우리의 결과는 상호작용 설계(interaction design)가 에이전트의 전략적 반응에 내재된 숨겨진 구조를 드러냄으로써 정보 비대칭(information asymmetry)을 완화할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.