본 논문에서는 적응적으로 수집된 데이터 환경에서 정책 개선 가치(VPI, Value of Policy Improvement)에 대한 점근적 정규 추정량(asymptotically normal estimator)을 개발합니다. 특정 군집 내 최적 처치 정책의 가치와 기준선(baseline) 정책 가치 간의 격차로 정의되는 이 값은 맞춤형 처치 정책을 도입할 가치가 있는지 여부를 측정합니다. VPI에 대한 추정량을 구축하는 것은 고정된 정책의 가치를 추정하는 것보다 본질적으로 더 어렵습니다. 이는 적응적 실험과 연관된 상관 데이터 및 감소하는 성향(decaying propensities)을 다루어야 할 뿐만 아니라, 최적 정책이 유일하지 않을 때 기저 피추정량(estimand)의 비정칙성(non-regularity) 또는 경로별 미분 불가능성(lack of pathwise differentiability)도 모든 추정량이 함께 처리해야 하기 때문입니다. 본 연구에서 제안하는 추정량은 과거 데이터에 대해 가중 경험적 후생 극대화(weighted empirical welfare maximizing) 정책을 순차적으로 적합한 후, 미래 샘플에 대해 역성향 가중치(inverse propensity weighting)를 적용하여 이를 평가하는 방식으로 작동합니다. 우리는 최적 정책이 유일하다고 가정하지 않으며, 기저의 이질적 처치 효과에 대한 마진(margin) 가정도 두지 않습니다. 추정량 분석의 핵심적인 난점은 정책 학습을 통해 발생하는 후회(regret)가 추정량의 표준 오차보다 점근적으로 작음을 보이는 것입니다. 우리는 감소하는 성향 조건 하에서 정책 학습의 더 빠른 후회율(regret rate)을 입증함으로써 이를 달성하였으며, 이는 독립적으로도 유의미한 가치를 지닐 수 있습니다. 합성 및 준합성 데이터의 혼합을 통해 추정량의 포함 확률(coverage)을 평가할 뿐만 아니라, Caria 등이 요르단에서 진행한 구직 지원 프로그램의 효과 평가 적응적 실험에서 VPI를 추정하는 데에도 이를 적용합니다. 본 연구의 추정치는 최적 정책이 유일하다고 가정한 이들의 계층적 베이지안(hierarchical Bayesian) 분석 결과보다는 전반적으로 보수적이지만, 여전히 시리아 난민 집단 내에서 개인화가 지닌 이점을 입증합니다.
자율주행차 및 게임 플레이 에이전트와 같은 현대 AI 시스템은 초인적인 성능을 달성할 수 있지만, 인간 수준의 일반화 능력, 해석 가능성, 그리고 인간 사용자와의 상호 운용성이 부족한 경우가 많습니다. 인간의 언어와 의사결정 간의 풍부한 상호작용에서 영감을 받아, 우리는 보상 행동의 기저에 있는 고수준 전략을 포착하는 언어적 규칙을 AI 에이전트가 생성할 수 있도록 하는 프레임워크인 언어 병목을 활용한 정책 학습(Policy Learning with a Language Bottleneck, PLLB)을 제안합니다. PLLB는 언어 모델의 유도를 받는 *규칙 생성(rule generation)* 단계와, 규칙이 복잡한 정책 전체를 설명하기에 불충분한 경우에도 해당 규칙의 안내를 받아 새로운 정책을 학습하는 *업데이트(update)* 단계를 번갈아 수행합니다. 2인 신호 게임(two-player signaling game), 미로 내비게이션, 이미지 재구성, 로봇 파지 계획(grasp planning)을 포함한 5가지 다양한 태스크 전반에서, PLLB 에이전트가 더 해석 가능하고 일반화 가능한 행동을 학습할 수 있을 뿐만 아니라 학습된 규칙을 인간 사용자와 공유하여 더욱 효과적인 인간-AI 협업을 가능하게 함을 보입니다. 실험을 위한 소스 코드는 https://github.com/meghabyte/bottleneck 에서 제공됩니다.
생성 모델(generative model)은 개입이 결합적(joint)이고 고차원적일 수 있으며 결과 역시 고차원적인 복잡한 시스템의 의사결정을 지원하는 데 점점 더 많이 활용되고 있습니다. 그러나 이러한 의사결정 환경에서 생성기를 사용하는 데는 세 가지 문제가 따릅니다. 첫째, 제한된 개입 데이터가 포함된 노이즈가 많은 로그를 기반으로 학습되는 경우가 많습니다. 둘째, 서로 다른 환경 전반에서 생성기 학습에 노이즈가 발생할 수 있습니다. 셋째, 생성기가 자신이 지원하는 의사결정에 맞춰 최적화되지 않습니다. 본 연구에서는 생성기를 지원 대상 의사결정에 맞게 3단계로 학습시키는 '재타겟팅된 반사실적 생성(retargeted counterfactual generation)을 통한 정책 학습'을 제안합니다. 구체적으로 (1) 고차원 개입 및 결과에 대해 이중 로버스트(doubly-robust)하고 불변적인 반사실적 생성기를 학습하고, (2) 이의 롤아웃(rollout)을 기반으로 정책 학습(policy learning)을 수행하며, (3) 생성기가 실제 의사결정이 이루어지는 영역에서 정확하도록 학습된 정책의 개입을 향해 생성기를 재타겟팅하고 정책을 재학습합니다. 이론적으로 우리 생성기의 초과 반사실적 위험(excess counterfactual risk)은 이중 로버스트 곱 잔차(doubly robust product remainder)를 가지며, 재타겟팅을 통해 후회(regret)에서 기록된 정책과 학습된 정책 간의 최악 조건 밀도비(worst-case density ratio)를 제거합니다. 우리는 합성 데이터, SARS-CoV-2 감염 세포의 Cell Painting 이미지, 물리 비디오 시뮬레이션 전반에서 제안한 접근 방식의 효과를 입증합니다.
전통적인 치료 정책은 기대되는 임상 결과를 극대화하기 위해 환자의 공변량을 단일 권장 중재로 매핑합니다. 그러나 여러 치료법이 통계적으로 구별할 수 없는 결과를 내거나 치료 효과가 없을 때, 단일 중재만을 권장하는 것은 다소 자의적인 중재로 이어져 임상적 도입과 신뢰를 저해할 수 있습니다. 이를 해결하기 위해 본 논문에서는 집합값 정책 학습(set-valued policy learning) 패러다임을 제안합니다. 권장의 모호성을 반영하는 기수(cardinality)를 갖는 유의미한 치료법들의 집합을 출력함으로써, 본 접근법은 임상적 의사결정을 더욱 효과적으로 지원합니다. 다운스트림 의사결정의 다양한 가능성으로 인해 집합값 정책을 평가하는 것은 까다롭습니다. 이를 위해 우리는 임상적 의사결정을 모델링하는 선택 함수를 사용하여 집합 정책 가치를 정의하고, 이에 대한 이중 강건(doubly robust) 추정량을 개발합니다. 실질적인 중요성에도 불구하고, 범주형 치료에 대한 집합값 정책 학습은 여전히 거의 연구되지 않았습니다. 이러한 맥락에서 우리는 두 가지 상호보완적인 접근 방식을 도입합니다. 하나는 지연 학습(learning-to-defer) 프레임워크를 다중 치료로 확장한 최대 하한(Greatest Lower Bound) 방법이며, 다른 하나는 관측되지 않은 실측 최적 치료와 추정된 최적 치료 규칙 간의 간극을 좁히는 등각 집합값 정책 학습(conformal set-valued policy learning)입니다. 합성 데이터에 대한 실험과 외상 치료 및 체외 수정(IVF)에 대한 실제 적용을 통해, 우리는 제안 방법들이 성능과 신뢰성의 균형을 효과적으로 유지하면서 임상적 고려사항을 자연스럽게 통합하는 강건하고 실행 가능한 정책을 생성함을 입증합니다.
정책 학습(policy learning) 방법은 예산 제약 하에서 처치 배정(treatment allocation)을 결정하는 데 점점 더 많이 사용되고 있다. 대부분의 제안된 방법은 완전한 처치 데이터를 가정하지만, 실제 응용에서는 누락으로 인해 추정에 바이어스(bias)가 발생하고 차선의 정책으로 이어질 수 있는 경우가 빈번하다. 우리는 무작위 누락(missing at random, MAR) 및 조건부 완전 무작위 누락(missing completely conditionally at random, MCCAR) 처치 데이터 하에서, 평균 처치 효과(average treatment effect, ATE) 추정을 위한 효율적 추정량(efficient estimators)을 정책 가치(policy value) 및 조건부 평균 처치 효과(conditional average treatment effect, CATE) 추정으로 확장하여 이 격차를 해소한다. 점근적 효율성(asymptotic efficiency) 분석을 통해, 부분적으로 관측된 단위(partially-observed units)를 활용하는 MAR 추정량이 MCCAR 가정이 성립할 때 유효(valid)할 뿐 아니라 MCCAR 추정량보다 더 효율적임을 증명한다. 이 결과는 두 누락 데이터 설정 모두에서 정책 학습 시 MAR 기반 추정을 선호하는 데 대한 형식적 정당화를 제공한다. 합성(synthetic) 및 준합성(semi-synthetic) 데이터셋(dataset)을 사용한 종합 실험은 누락 메커니즘(missingness mechanism)을 올바르게 명시하는 것이 핵심임을 확인한다: 잘못 명시된 추정량은 표본 크기(sample size)와 관계없이 바이어스가 남지만, 우리 추정량은 가정이 충족될 때 거의 오라클(oracle)에 가까운 성능을 달성한다. 본 연구는 실무자(practitioners)에게 처치 데이터 누락 상황에서 강건한(robust) 정책 학습을 위한 이론적으로 타당하고 경험적으로 검증된 도구를 제공한다.
관측 데이터 기반 정책 학습(policy learning)에서 최적 정책, 개선 정책, 정책 존재 여부 판별이라는 세 가지 문제를 통합하는 수학적 프레임워크를 제시하며, 표본 복잡도(sample complexity) 기준으로 이 문제들 사이의 난이도 위계와 간극을 이론적으로 분석한다. 특히 개선 정책을 실제로 찾기에 데이터가 부족한 상황에서도, 단조성(monotonicity) 조건을 만족하는 알고리즘 하에서 개선 정책의 존재 여부는 준선형 다항식 수준의 더 적은 표본으로 판별 가능함을 증명한다.
Offline policy learning has received growing attention in causal inference. The primary objective is to learn a policy (individualized treatment rule) as a mapping from covariates to treatment that maximizes the empirical welfare defined as the mean of scalar-valued potential outcomes. In this paper, we study offline policy learning with distribution-valued outcomes, where each potential outcome is a probability measure on $\mathbb{R}$ and the reward is defined through a utility functional applied to the Wasserstein barycenter of induced outcome distributions. We establish statistical guarantees for the policy learning framework based on both Inverse Probability Weighting (IPW) and Doubly Robust (DR) estimators. By handling the challenging uniform deviation over the product of the combinatorial policy class and the infinite-dimensional quantile domain, we prove that the finite-sample regret has leading dependence $\widetilde{\mathcal{O}}(\sqrt{\mathrm{N\text{-}dim}(Π)/N})$. In the one-dimensional Wasserstein setting and under the stated regularity conditions, the leading regret rate is still governed by the policy-class complexity. Moreover, we provide a minimax lower bound establishing the sharpness of the leading dependence on $N$ and $\mathrm{N\text{-}dim}(Π)$.