arXiv:2310.15433

Off-Policy Evaluation for Large Action Spaces via Policy Convolution

Noveen Sachdeva, Lequn Wang, Dawen Liang, Nathan Kallus, Julian McAuley

제출 2023-10-24

원문 초록

Developing accurate off-policy estimators is crucial for both evaluating and optimizing for new policies. The main challenge in off-policy estimation is the distribution shift between the logging policy that generates data and the target policy that we aim to evaluate. Typically, techniques for correcting distribution shift involve some form of importance sampling. This approach results in unbiased value estimation but often comes with the trade-off of high variance, even in the simpler case of one-step contextual bandits. Furthermore, importance sampling relies on the common support assumption, which becomes impractical when the action space is large. To address these challenges, we introduce the Policy Convolution (PC) family of estimators. These methods leverage latent structure within actions -- made available through action embeddings -- to strategically convolve the logging and target policies. This convolution introduces a unique bias-variance trade-off, which can be controlled by adjusting the amount of convolution. Our experiments on synthetic and benchmark datasets demonstrate remarkable mean squared error (MSE) improvements when using PC, especially when either the action space or policy mismatch becomes large, with gains of up to 5 - 6 orders of magnitude over existing estimators.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10848v1cs.LG공통 태그 Multi-Armed Bandits, Off-policy evaluation

LLM을 위한 상각(Amortized) 오프-정책 평가

Amortized Off-Policy Evaluation for LLMs

정확한 평가는 어떤 LLM을 배포할지 선택하는 데 핵심적이지만, 실시간 트래픽에서 후보 모델을 테스트하면 검증되지 않은 모델에 실제 사용자가 노출된다. 따라서 팀들은 이미 배포된 모델이 생성한 데이터를 바탕으로 후보 모델을 오프라인에서 평가한다. 이것이 오프-정책 평가(OPE)이며, 여기에는 두 가지 분포 변화(distribution shift)가 발생한다: 모델이 사후 학습(post-training)에서 업데이트됨에 따라 그 응답이 로그에 기록된 응답과 달라지는 정책 변화(policy shift), 그리고 비즈니스 요구사항에 따라 모델을 평가하는 보상(reward) 정의가 바뀌는 보상 변화(reward shift)이다. 고전적인 OPE 방법들은 과제(task)별로 정의되며 새로운 로그 데이터셋이나 보상 정의마다 처음부터 다시 적합(fitting)해야 하기 때문에 이러한 지속적 배포(continual-deployment) 환경에는 적합하지 않다. 이를 해결하기 위해 우리는 맥락적 밴딧(contextual-bandit) 과제들의 분포에 걸쳐 OPE를 상각(amortize)하는 사전 데이터 적합 네트워크(prior-data fitted network)인 PFN-OPE를 제안한다. 우리는 여러 보상 함수로 점수가 매겨진 LLM 응답 풀(pool)로부터 구성된 과제들에 대해 이 네트워크를 한 번 사전학습(pretrain)하며, 이 과제들에서는 두 가지 분포 변화가 모두 발생한다. 테스트 시점에는 과제별 적합 없이 단일 순전파(forward pass)만으로 로그 데이터셋과 프롬프트(prompt)당 하나의 샘플링된 타깃 응답을 값 추정치로 매핑한다. Qwen, Llama, Gemma 정책을 사용한 HelpSteer2 및 UltraFeedback에서, PFN-OPE는 보상이 변화하는(reward-shifted) 환경에서 테스트된 모든 구성에 걸쳐 최상의 베이스라인보다 2.0배에서 9.3배 낮은 오차를 달성한다.

arXiv:2610.10974v1cs.LG공통 태그 Multi-Armed Bandits, Off-policy evaluation

오프-정책 평가를 위한 예산 제약 다중 소스 반사실적 주석 달기

Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation

오프-정책(off-policy) 평가(OPE)는 기록된 데이터로부터 타깃 정책의 가치를 추정하지만, 행동 정책의 제한된 커버리지로 인해 높은 분산의 가중치 재조정이나 보상(reward) 모델(model) 외삽이 불가피할 수 있습니다. 반사실적(counterfactual) 주석(annotation)은 관측되지 않은 행동에 대한 증거를 추가할 수 있지만, 도메인 전문가나 대규모 언어 모델(LLM)을 포함한 실제 소스는 비용이 많이 들거나 편향되거나 노이즈가 있을 수 있습니다. 본 연구에서는 맥락적 밴딧(contextual-bandit) OPE를 위해 이러한 주석을 예산 제약 하에서 획득하는 문제를 연구합니다. 소스별 비용과 오류 프로필이 주어졌을 때, 주석 계획에 의존하는 추정량 분산 성분을 최소화하도록 맥락-행동 쌍과 주석 소스에 대한 정수 할당 문제를 정형화합니다. 또한 첫 번째 주석 임계값과 국소적 주석 가치 영역을 통해 주석이 언제 유용한지 규명합니다. 결합된 다중 소스 문제에 대해, 목적 함수를 단조적으로 개선하는 동적 계획법 서브루틴 기반의 주화-최소화(majorization-minimization) 알고리즘을 개발합니다. 합성 임상 및 LLM 주석 기반 교육 밴딧 실험에서 본 할당 방법은 주석이 없는 경우 대비 고정 프로필 평균 제곱 오차(MSE)를 각각 20.58% 및 10.77% 감소시킴을 보여줍니다.

arXiv:2607.22012v1cs.LG공통 태그 Multi-Armed Bandits, Off-policy evaluation

문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.

arXiv:2607.15067v1cs.LG공통 태그 Multi-Armed Bandits, Off-policy evaluation

문맥적 밴딧에서 오프-정책 평가를 위한 커널 가중 중요도 샘플링

Kernel weighted importance sampling for off-policy evaluation in contextual bandits

본 논문은 문맥적 밴딧에 대해 오프라인 데이터만을 사용하여 오프-정책 평가를 수행하기 위한 새로운 추정량을 제안한다. 제안된 추정량인 Kernel-WIS는 점근적으로 일치함이 보여졌으며, 특히 행동 정책 오지정(behaviour policy miss-specification)을 포함한 복잡한 조건에서 강력한 기준선(바닐라 가중 중요도 샘플링 포함)보다 실험적으로 우수한 성능을 보였다. Kernel-WIS의 이점은 바닐라 가중 중요도 샘플링의 유계성(bounded property)과 바닐라 중요도 샘플링의 선형성(linearity)을 결합하는 데서 나온다.

arXiv:2606.22639v1stat.ML공통 태그 Multi-Armed Bandits, Off-policy evaluation

잘못 지정된 컨텍스트 밴딧에 대한 통계적 추론

Statistical Inference for Misspecified Contextual Bandits

컨텍스트 밴딧(contextual bandit) 알고리즘은 개인화된 처치에 대한 실시간 적응을 가능하게 하면서 현대 실험 방식을 변화시켰다. 그러나 이러한 장점은 적응성(adaptivity) 때문에 통계적 추론에 어려움을 만든다. 우리는 결과 모델이 올바르게 지정(well-specified)되었다고 가정하지 않고 컨텍스트 밴딧 데이터로 추론을 연구한다. 이 설정에서, 우리는 이전에 간과된 문제를 보인다: LinUCB와 같은 표준 알고리즘은 잘못 지정된 작업 모델(misspecified working models) 하에서 안정화에 실패할 수 있으며, 이는 비정규(non-Gaussian) 추정량 거동과 무효한 추론으로 이어진다. 이 문제는 실질적으로 중요하다. 복잡한 동역학계(dynamical systems)의 근사와 같은 잘못 지정된 작업 모델은 보상, 계산적 다루기 쉬움(computational tractability), 견고성(robustness)의 균형을 위해 실세계 적응형 실험에서 온라인 에이전트가 자주 사용하기 때문이다. 우리는 투영 매개변수, 잡음이 있는 컨텍스트의 구조적 매개변수, 오프-정책(off-policy) 가치를 포함하는 넓은 범위의 주변 모멘트(marginal moment) 목표에 대해 역확률 가중(inverse-probability-weighted) Z-추정 프레임워크를 개발한다. 우리는 이 프레임워크에 맞춘 안정성 조건인 scaled inverse-propensity 수렴(convergence)을 확인하며, 이 조건 하에서 IPW-Z 추정량은 일관성(consistency)과 점근 정규성(asymptotically normal)을 갖고 일관된 샌드위치(sandwich) 분산 추정량을 갖는다. 우리는 또한 다-armed 밴딧 알고리즘과 매끄러운 컨텍스트 할당 정책을 포함한 여러 정책 클래스에 대해 scaled inverse-propensity 수렴의 충분 조건을 확립한다. 시뮬레이션과 HeartSteps V1 실데이터 보정(real-data-calibrated) 응용은 여러 목표에 걸쳐 신뢰할 만한 커버리지(coverage)와 경쟁력 있는 성능을 보여준다. 전반적으로, 우리의 결과는 유효한 사후 실험 추론을 위해 안정성을 고려한 적응형 설계의 중요성을 강조한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.