Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
원문 초록
Offline reinforcement learning and off-policy evaluation evaluate dynamic decision rules based on historical data, without the ability to deploy online. In recent artificial intelligence (AI) applications, simple state and reward information is recorded as complex text or image, expert annotation may be available but at a higher cost. Recent AI and machine learning (ML) predictors can label data cheaply but with unknown bias. We show how a limited budget for ground-truth data-annotation can safely make use of plentiful ML predictions in a new estimator for doubly-robust off-policy evaluation with missing rewards. Our method directs where data should be collected by optimizing annotation probabilities for the best downstream estimation variance, which we implement in a feasible batch-adaptive approach. Our work is motivated by a collaboration with a homelessness services nonprofit that writes casenotes for individuals over time. Our method can be used to unlock trustworthy inference from casenote data and answer new inferential questions such as: how does expanding outreach effort over time affect progress towards a housing application and improvement in housing placement? In simulations and on two real datasets -- casenotes from the nonprofit and human-preference votes from LMArena -- we see reductions in RMSE of 37-65% for housing placement and 21-67% for progress towards a housing application at budgets of 50% of full annotation and above, and by 55-62% at every budget on LMArena under an equal-exposure policy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.26707v2제출 시각 미확인
- arXiv:2609.26707v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OnlineWM: 효과적인 월드 모델링을 위한 인과관계 인지 능동 온라인 학습
OnlineWM: Causality-Aware Active Online Learning for Effective World Modeling
생성형 월드 모델(Generative world models)은 행동을 조건으로 하여 미래 상태를 예측하는 것을 목표로 하며, 여기서 행동 제어 가능성(action controllability)은 신뢰할 수 있는 역학 모델링을 위한 기본 요소입니다. 최근 시뮬레이터가 생성한 데이터를 활용하여 이러한 역량을 향상하려는 시도들이 이루어지고 있으나, 기존 학습(training) 파이프라인은 두 가지 근본적인 한계에 직면해 있습니다. 첫째, 정적인 오프라인 데이터 수집은 학습 세트와 모델(model)의 진화하는 오류 패턴 간의 분포 불일치를 유발하여 역학 예측이 여전히 신뢰할 수 없는 중요한 롱테일(long-tail) 시나리오를 해결하지 못합니다. 둘째, 관측 불일치를 최소화하는 표준 목적 함수는 종종 모델이 기저의 행동-효과 인과관계를 포착하는 대신 허위 상관관계(spurious correlations)를 악용하도록 유도합니다. 이러한 한계를 해결하기 위해, 능동적인 시뮬레이터 상호작용과 인과관계 인지 최적화를 통해 월드 모델링을 지속적으로 개선하는 온라인 학습 프레임워크인 OnlineWM을 제안합니다. OnlineWM은 두 가지 핵심 혁신을 도입합니다: (1) 능동 온라인 학습(Active Online Learning): 고정된 데이터셋을 사용하는 대신, OnlineWM은 모델의 현재 예측 취약점을 목표로 하는 새로운 상호작용 시퀀스를 시뮬레이터에 적응적으로 질의하여 효용성이 높은 데이터 수집을 보장합니다. (2) 인과관계 인지 미세조정(Causality-Aware Fine-Tuning): 동일한 상태에서 서로 다른 행동의 결과를 대조하는 반사실적 학습(counterfactual learning) 전략을 제안하여, 모델이 상태 전이를 주변 환경 변화가 아닌 특정 행동의 결과로 귀인하도록 강제함으로써 예측을 신뢰할 수 있는 인과 메커니즘에 그라운딩(grounding)합니다. 능동적 데이터 수집과 인과적 최적화를 통합함으로써, OnlineWM은 모델이 다양한 시나리오에 대해 강건하고 인과적 귀인에서 정밀함을 모두 보장하는 폐루프 개선 프로세스를 확립합니다. 광범위한 실험을 통해 OnlineWM이 행동 제어 가능성을 크게 향상시키고 보지 못한 도메인으로도 효과적으로 일반화됨을 입증합니다.
문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습
Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits
문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
적응적 실험에서 정책 개선 가치에 대한 추론
Inference on the Value of Policy Improvement in Adaptive Experiments
본 논문에서는 적응적으로 수집된 데이터 환경에서 정책 개선 가치(VPI, Value of Policy Improvement)에 대한 점근적 정규 추정량(asymptotically normal estimator)을 개발합니다. 특정 군집 내 최적 처치 정책의 가치와 기준선(baseline) 정책 가치 간의 격차로 정의되는 이 값은 맞춤형 처치 정책을 도입할 가치가 있는지 여부를 측정합니다. VPI에 대한 추정량을 구축하는 것은 고정된 정책의 가치를 추정하는 것보다 본질적으로 더 어렵습니다. 이는 적응적 실험과 연관된 상관 데이터 및 감소하는 성향(decaying propensities)을 다루어야 할 뿐만 아니라, 최적 정책이 유일하지 않을 때 기저 피추정량(estimand)의 비정칙성(non-regularity) 또는 경로별 미분 불가능성(lack of pathwise differentiability)도 모든 추정량이 함께 처리해야 하기 때문입니다. 본 연구에서 제안하는 추정량은 과거 데이터에 대해 가중 경험적 후생 극대화(weighted empirical welfare maximizing) 정책을 순차적으로 적합한 후, 미래 샘플에 대해 역성향 가중치(inverse propensity weighting)를 적용하여 이를 평가하는 방식으로 작동합니다. 우리는 최적 정책이 유일하다고 가정하지 않으며, 기저의 이질적 처치 효과에 대한 마진(margin) 가정도 두지 않습니다. 추정량 분석의 핵심적인 난점은 정책 학습을 통해 발생하는 후회(regret)가 추정량의 표준 오차보다 점근적으로 작음을 보이는 것입니다. 우리는 감소하는 성향 조건 하에서 정책 학습의 더 빠른 후회율(regret rate)을 입증함으로써 이를 달성하였으며, 이는 독립적으로도 유의미한 가치를 지닐 수 있습니다. 합성 및 준합성 데이터의 혼합을 통해 추정량의 포함 확률(coverage)을 평가할 뿐만 아니라, Caria 등이 요르단에서 진행한 구직 지원 프로그램의 효과 평가 적응적 실험에서 VPI를 추정하는 데에도 이를 적용합니다. 본 연구의 추정치는 최적 정책이 유일하다고 가정한 이들의 계층적 베이지안(hierarchical Bayesian) 분석 결과보다는 전반적으로 보수적이지만, 여전히 시리아 난민 집단 내에서 개인화가 지닌 이점을 입증합니다.
그래프 신경망을 활용한 상각 반사실적 예측
Amortized Counterfactual Prediction with Graph Neural Networks
반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.
오프-정책 평가를 위한 예산 제약 다중 소스 반사실적 주석 달기
Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation
오프-정책(off-policy) 평가(OPE)는 기록된 데이터로부터 타깃 정책의 가치를 추정하지만, 행동 정책의 제한된 커버리지로 인해 높은 분산의 가중치 재조정이나 보상(reward) 모델(model) 외삽이 불가피할 수 있습니다. 반사실적(counterfactual) 주석(annotation)은 관측되지 않은 행동에 대한 증거를 추가할 수 있지만, 도메인 전문가나 대규모 언어 모델(LLM)을 포함한 실제 소스는 비용이 많이 들거나 편향되거나 노이즈가 있을 수 있습니다. 본 연구에서는 맥락적 밴딧(contextual-bandit) OPE를 위해 이러한 주석을 예산 제약 하에서 획득하는 문제를 연구합니다. 소스별 비용과 오류 프로필이 주어졌을 때, 주석 계획에 의존하는 추정량 분산 성분을 최소화하도록 맥락-행동 쌍과 주석 소스에 대한 정수 할당 문제를 정형화합니다. 또한 첫 번째 주석 임계값과 국소적 주석 가치 영역을 통해 주석이 언제 유용한지 규명합니다. 결합된 다중 소스 문제에 대해, 목적 함수를 단조적으로 개선하는 동적 계획법 서브루틴 기반의 주화-최소화(majorization-minimization) 알고리즘을 개발합니다. 합성 임상 및 LLM 주석 기반 교육 밴딧 실험에서 본 할당 방법은 주석이 없는 경우 대비 고정 프로필 평균 제곱 오차(MSE)를 각각 20.58% 및 10.77% 감소시킴을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.