Double/Debiased Machine Learning for Dynamic Treatment Effects via g-Estimation
원문 초록
We consider the estimation of treatment effects in settings when multiple treatments are assigned over time and treatments can have a causal effect on future outcomes or the state of the treated unit. We propose an extension of the double/debiased machine learning framework to estimate the dynamic effects of treatments, which can be viewed as a Neyman orthogonal (locally robust) cross-fitted version of $g$-estimation in the dynamic treatment regime. Our method applies to a general class of non-linear dynamic treatment models known as Structural Nested Mean Models and allows the use of machine learning methods to control for potentially high dimensional state variables, subject to a mean square error guarantee, while still allowing parametric estimation and construction of confidence intervals for the structural parameters of interest. These structural parameters can be used for off-policy evaluation of any target dynamic policy at parametric rates, subject to semi-parametric restrictions on the data generating process. Our work is based on a recursive peeling process, typical in $g$-estimation, and formulates a strongly convex objective at each stage, which allows us to extend the $g$-estimation framework in multiple directions: i) to provide finite sample guarantees, ii) to estimate non-linear effect heterogeneity with respect to fixed unit characteristics, within arbitrary function spaces, enabling a dynamic analogue of the RLearner algorithm for heterogeneous effects, iii) to allow for high-dimensional sparse parameterizations of the target structural functions, enabling automated model selection via a recursive lasso algorithm. We also provide guarantees for data stemming from a single treated unit over a long horizon and under stationarity conditions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM을 위한 상각(Amortized) 오프-정책 평가
Amortized Off-Policy Evaluation for LLMs
정확한 평가는 어떤 LLM을 배포할지 선택하는 데 핵심적이지만, 실시간 트래픽에서 후보 모델을 테스트하면 검증되지 않은 모델에 실제 사용자가 노출된다. 따라서 팀들은 이미 배포된 모델이 생성한 데이터를 바탕으로 후보 모델을 오프라인에서 평가한다. 이것이 오프-정책 평가(OPE)이며, 여기에는 두 가지 분포 변화(distribution shift)가 발생한다: 모델이 사후 학습(post-training)에서 업데이트됨에 따라 그 응답이 로그에 기록된 응답과 달라지는 정책 변화(policy shift), 그리고 비즈니스 요구사항에 따라 모델을 평가하는 보상(reward) 정의가 바뀌는 보상 변화(reward shift)이다. 고전적인 OPE 방법들은 과제(task)별로 정의되며 새로운 로그 데이터셋이나 보상 정의마다 처음부터 다시 적합(fitting)해야 하기 때문에 이러한 지속적 배포(continual-deployment) 환경에는 적합하지 않다. 이를 해결하기 위해 우리는 맥락적 밴딧(contextual-bandit) 과제들의 분포에 걸쳐 OPE를 상각(amortize)하는 사전 데이터 적합 네트워크(prior-data fitted network)인 PFN-OPE를 제안한다. 우리는 여러 보상 함수로 점수가 매겨진 LLM 응답 풀(pool)로부터 구성된 과제들에 대해 이 네트워크를 한 번 사전학습(pretrain)하며, 이 과제들에서는 두 가지 분포 변화가 모두 발생한다. 테스트 시점에는 과제별 적합 없이 단일 순전파(forward pass)만으로 로그 데이터셋과 프롬프트(prompt)당 하나의 샘플링된 타깃 응답을 값 추정치로 매핑한다. Qwen, Llama, Gemma 정책을 사용한 HelpSteer2 및 UltraFeedback에서, PFN-OPE는 보상이 변화하는(reward-shifted) 환경에서 테스트된 모든 구성에 걸쳐 최상의 베이스라인보다 2.0배에서 9.3배 낮은 오차를 달성한다.
언제든 유효한 최적 정책 식별
Anytime-valid Optimal Policy Identification
우리는 기록된 문맥형 밴딧 데이터로부터 최적 정책을 식별하기 위한 언제든 유효한 프레임워크를 개발합니다. 많은 응용 설정에서 분석가는 후보 정책 클래스 $Π$ 내에서 최적 정책을 선택하고자 하지만, 데이터는 분석가가 제어할 수 없는 외부적으로 결정된 로깅 정책에 의해 생성됩니다. 분석가는 또한 증거를 지속적으로 모니터링하고, 미리 고정된 표본 크기에 얽매이는 대신 최적 정책이 명확해지는 시점에 중단하기를 원할 수 있습니다. 본 논문은 시간에 대해 높은 확률로 균일하게 참 최적 정책 집합을 유지하는 시간 인덱스 집합 $S_t$를 구성하여 이러한 문제를 해결합니다. 결과적인 절차를 통해 분석가는 정책 가치를 모니터링하고, 명백히 비최적인 정책을 제거하며, 추론(inference)을 무효화하지 않으면서 데이터 의존적인 시점에 중단할 수 있습니다. 최적 정책이 유일한 경우, 우리는 그 식별을 위한 정지 시간을 정의하고, $Δ_{\min}$을 최상의 정책 가치와 차선의 정책 가치 사이의 격차라고 할 때 $O\!\left(\frac{\log |Π|+\log\log(1/Δ_{\min})}{Δ_{\min}^2}\right)$의 비율로 스케일링되는 표본 복잡도 상한을 도출합니다. 시뮬레이션 결과, 언제든 유효한 접근 방식이 고정-$N$ 설계에 비해 상당한 표본 절약 효과를 낼 수 있음이 입증되었습니다. 온라인상의 잘못된 정보를 줄이기 위한 대규모 적응형 실험에 대한 적용 사례는 최적 정책에 대한 증거가 축적됨에 따라 본 방법이 동적인 관점을 어떻게 제공하는지 보여줍니다.
Machine Learning for Dynamic Resource Allocation in Network Function Virtualization
ATM: A distributed, collaborative, scalable system for automated machine learning
Hyperopt: A Python Library for Optimizing the Hyperparameters of Machine Learning Algorithms
mTSBench: Benchmarking Multivariate Time Series Anomaly Detection and Model Selection at Scale
토론
이 논문과 연결된 포럼 글이 아직 없습니다.