arXiv:2008.06668

Accountable Off-Policy Evaluation With Kernel Bellman Statistics

Yihao Feng, Tongzheng Ren, Ziyang Tang, Qiang Liu

제출 2020-08-15

원문 초록

We consider off-policy evaluation (OPE), which evaluates the performance of a new policy from observed data collected from previous experiments, without requiring the execution of the new policy. This finds important applications in areas with high execution cost or safety concerns, such as medical diagnosis, recommendation systems and robotics. In practice, due to the limited information from off-policy data, it is highly desirable to construct rigorous confidence intervals, not just point estimation, for the policy performance. In this work, we propose a new variational framework which reduces the problem of calculating tight confidence bounds in OPE into an optimization problem on a feasible set that catches the true state-action value function with high probability. The feasible set is constructed by leveraging statistical properties of a recently proposed kernel Bellman loss (Feng et al., 2019). We design an efficient computational approach for calculating our bounds, and extend it to perform post-hoc diagnosis and correction for existing estimators. Empirical results show that our method yields tight confidence intervals in different settings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22012v1cs.LG공통 태그 Recommendation Systems, Off-policy evaluation

문맥적 밴딧을 위한 교차 도메인 오프-정책 평가 및 학습

Cross-Domain Off-Policy Evaluation and Learning for Contextual Bandits

문맥적 밴딧에서 오프-정책 평가 및 학습(OPE/L)은 과거에 기록된 로그 데이터만으로 새로운 정책을 안전하게 평가하고 학습할 수 있기 때문에 실제 시스템에서 빠르게 주목받고 있다. 그러나 OPE/L의 기존 방법들은 퓨샷(few-shot) 데이터, 결정론적 로깅 정책, 새로운 행동(action)과 같이 도전적이지만 널리 존재하는 많은 시나리오를 다룰 수 없다. 맞춤형 의료, 콘텐츠 추천, 교육, 광고 등 많은 응용 분야에서는 이러한 과제가 있는 상황에서 새로운 정책을 평가하고 학습해야 한다. 기존 방법들은 로그 데이터의 잘 알려진 분산 문제나 제한된 탐험(exploration) 때문에 이러한 상황에서 효과적으로 평가하고 최적화할 수 없다. 이러한 미해결 과제 하에서도 OPE/L을 가능하게 하기 위해, 새로운 정책이 구현될 대상(target) 도메인의 로그 데이터뿐만 아니라 다른 도메인에서 수집된 로그 데이터셋에도 접근할 수 있는 교차 도메인 OPE/L이라는 새로운 문제 설정을 제안한다. 이 새로운 공식화는 대상 병원, 국가, 기기, 사용자 세그먼트뿐만 아니라 다른 병원, 국가, 기기, 세그먼트의 과거 데이터도 활용할 수 있기 때문에 널리 적용 가능하다. 우리는 대상 및 소스(source) 데이터셋을 모두 활용하여 OPE/L을 해결하는 새로운 추정량(estimator)과 정책 그래디언트(policy gradient) 방법을 개발했으며, 실험 평가에서 이전에 해결되지 않았던 상황에서 OPE/L 성능이 실질적으로 향상되었다.

arXiv:2511.00802v2cs.SE공통 태그 Recommendation Systems, Off-policy evaluation

GrowthHacker: 코드 수정 LLM 에이전트를 사용한 자동화된 오프-정책 평가 최적화

GrowthHacker: Automated Off-Policy Evaluation Optimization Using Code-Modifying LLM Agents

데이터 기반 개발이 널리 채택됨에 따라, 온라인 A/B 테스트는 새로운 기술의 효과를 측정하는 확립된 방법입니다. 그러나 온라인 실험을 배포하려면 설계, 구현, 배포를 위한 리소스가 필요하며, 사용자에게 부정적인 영향(예: 안전하지 않거나 비윤리적인 결과)을 미칠 수 있고 수주간의 데이터 수집이 필요합니다. 이를 해결하기 위해, 성장하는 연구 분야인 오프-정책 평가(OPE), 즉 오프라인 A/B 테스트는 이전에 수집된 로그 데이터를 사용하여 오프라인에서 새로운 기술을 평가합니다. OPE는 강화학습(reinforcement learning)의 근본적인 문제이기도 하며, 의료, 추천 시스템, 교육, 로봇 공학과 같이 온라인 테스트가 비용이 많이 들거나 위험한 분야에서 중요합니다. 코드 생성 대규모 언어 모델(LLM) 및 에이전트 워크플로우의 발전에도 불구하고, LLM 및 LLM 기반 에이전트가 OPE 구현을 자동으로 최적화할 수 있는지, 그리고 어떻게 최적화할 수 있는지에 대해서는 거의 알려져 있지 않습니다. 우리는 대규모 공개 데이터셋에서 기준선(baseline) LLM 및 LLM 기반 에이전트를 평가하는 벤치마크인 GrowthHacker를 제안합니다. GrowthHacker는 자율적이고 반복적으로 코드를 수정하고, OPE를 실행하며, 메트릭을 사용하여 후속 최적화를 안내합니다. 우리는 Open Bandit Pipeline (OBP) 및 Scope-RL에서 방법들을 평가하고, 기존 프레임워크의 한계를 해결하면서 복잡성을 줄이는 two_agent 프레임워크를 개발했습니다. 두 라이브러리 모두에서 two_agent는 가장 높은 신뢰성(98.1%-100% 성공률)과 긍정적 결과율(78%)을 보였으며, 긍정적 결과 중 중간값 개선폭은 4.4%였습니다. CrewAI는 가장 높은 평균 개선폭(37.9%)을 달성했으며, 극단적 값 실패가 0인 유일한 프레임워크였습니다. AutoGen과 Default는 각각 65%의 긍정적 결과율에 도달했습니다. 이러한 결과는 수동 최적화가 비용이 많이 드는 환경에서 데이터 기반 의사결정을 확장하는 데 있어, LLM 기반 에이전트를 자동화된 "성장 해커(growth hackers)"로 사용하여 OPE 시스템을 지속적으로 개선하는 것이 가능함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.