arXiv:2202.12958

Off-Policy Evaluation with Policy-Dependent Optimization Response

Wenshuo Guo, Michael I. Jordan, Angela Zhou

제출 2022-02-25

원문 초록

The intersection of causal inference and machine learning for decision-making is rapidly expanding, but the default decision criterion remains an \textit{average} of individual causal outcomes across a population. In practice, various operational restrictions ensure that a decision-maker's utility is not realized as an \textit{average} but rather as an \textit{output} of a downstream decision-making problem (such as matching, assignment, network flow, minimizing predictive risk). In this work, we develop a new framework for off-policy evaluation with \textit{policy-dependent} linear optimization responses: causal outcomes introduce stochasticity in objective function coefficients. Under this framework, a decision-maker's utility depends on the policy-dependent optimization, which introduces a fundamental challenge of \textit{optimization} bias even for the case of policy evaluation. We construct unbiased estimators for the policy-dependent estimand by a perturbation method, and discuss asymptotic variance properties for a set of adjusted plug-in estimators. Lastly, attaining unbiased policy evaluation allows for policy optimization: we provide a general algorithm for optimizing causal interventions. We corroborate our theoretical results with numerical simulations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02070v3cs.AI공통 태그 Causal Inference, Decision Making

인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기

Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval

메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.

arXiv:2610.10974v1cs.LG공통 태그 Causal Inference, Off-policy evaluation

오프-정책 평가를 위한 예산 제약 다중 소스 반사실적 주석 달기

Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation

오프-정책(off-policy) 평가(OPE)는 기록된 데이터로부터 타깃 정책의 가치를 추정하지만, 행동 정책의 제한된 커버리지로 인해 높은 분산의 가중치 재조정이나 보상(reward) 모델(model) 외삽이 불가피할 수 있습니다. 반사실적(counterfactual) 주석(annotation)은 관측되지 않은 행동에 대한 증거를 추가할 수 있지만, 도메인 전문가나 대규모 언어 모델(LLM)을 포함한 실제 소스는 비용이 많이 들거나 편향되거나 노이즈가 있을 수 있습니다. 본 연구에서는 맥락적 밴딧(contextual-bandit) OPE를 위해 이러한 주석을 예산 제약 하에서 획득하는 문제를 연구합니다. 소스별 비용과 오류 프로필이 주어졌을 때, 주석 계획에 의존하는 추정량 분산 성분을 최소화하도록 맥락-행동 쌍과 주석 소스에 대한 정수 할당 문제를 정형화합니다. 또한 첫 번째 주석 임계값과 국소적 주석 가치 영역을 통해 주석이 언제 유용한지 규명합니다. 결합된 다중 소스 문제에 대해, 목적 함수를 단조적으로 개선하는 동적 계획법 서브루틴 기반의 주화-최소화(majorization-minimization) 알고리즘을 개발합니다. 합성 임상 및 LLM 주석 기반 교육 밴딧 실험에서 본 할당 방법은 주석이 없는 경우 대비 고정 프로필 평균 제곱 오차(MSE)를 각각 20.58% 및 10.77% 감소시킴을 보여줍니다.

arXiv:2610.02254v1cs.LG공통 태그 Causal Inference, Decision Making

대규모 언어 모델을 통한 해석적 구조 모델링의 한계 극복

Overcoming Challenges of Interpretive Structural Modeling with Large Language Models

해석적 구조 모델링(Interpretive Structural Modeling, ISM)은 다기준 의사결정을 위한 대표적인 방법론이다. 다른 방법론 대비 ISM의 강점은 인과 관계를 모델링하는 능력, 요인의 이진 척도, 그리고 이를 통해 도출되는 계층적 표현에 있다. 전통적으로 모델링 과정은 합의가 도출될 때까지 주제별 전문가(SME)와의 반복적인 상호작용을 통해 수행된다. 그러나 이러한 과정은 지루하고 노동 집약적이며, 무엇보다도 수백 개의 변수를 다루는 연구로 ISM을 확장하는 데 한계가 있다. 대규모 언어 모델(LLM)을 불완전한 전문가로 활용하는 기존의 인과 그래프 탐색 연구를 바탕으로, 본 연구는 ISM을 위한 통합적 LLM-ISM 접근 방식을 탐구한다. 쌍별(pairwise), k-wise, 행별(rowwise), 전체 그래프(full graph) 탐색 방법론을 비교 및 평가하였다. 그 결과, ISM을 위한 인과 그래프 탐색 방법론 중 행별(SHD=160, F1-score=0.77) 및 전체 그래프 방식(SHD=135, F1-score=0.73)을 활용했을 때 가장 우수한 성능을 보이는 것으로 나타났다.

arXiv:2610.00372v1cs.AI공통 태그 Causal Inference, Decision Making

하네스가 신호를 잃을 때: LLM 에이전트의 복구에 대한 인과적 평가

When Harnesses Lose the Signal: Causal Evaluation of Recovery in LLM Agents

대규모 언어 모델(LLM) 에이전트는 모델과 환경 간에 정보를 전달하고 실행 오류로부터 복구하기 위해 외부 하네스(harness)에 의존합니다. 그러나 복구는 대개 평균 작업 성공률로만 평가됩니다. 이는 중요한 상충 관계(tension)를 가립니다. 동일한 작업이 실패하는 궤적을 구제할 수도 있지만, 그렇지 않았으면 성공했을 궤적을 방해할 수도 있습니다. 본 연구에서는 복구를 인과적 의사결정 문제로 정형화합니다. 동일한 실행 상태에서 출발하여 복구가 있을 때와 없을 때 일어나는 결과를 비교하고, 구제와 피해를 분리하며, 복구의 가치가 시간에 따라 어떻게 변하는지 연구합니다. 그런 다음 복구 이전에 가용한 정보를 활용하여 개입이 가치 있는 시점을 결정하는 경량 정책인 인과적 개입 라우터(CIR, Causal Intervention Router)를 소개합니다. Qwen3-14B를 사용한 긴 호라이즌(long-horizon) ALFWorld 작업에서 CIR은 성공률을 70.33%에서 73.33%로 3.00%p 향상시킵니다. 또한 올바른 관측을 가진 평가된 모든 궤적은 변경하지 않고 그대로 유지합니다. 추가적인 대조 실험은 복구의 이점이 단순히 환경이 반환한 새로운 관측만으로는 설명될 수 없음을 보여줍니다. 이러한 결과는 복구를 평가하고 이를 선택적으로 적용하기 위한 실용적인 방법을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.