Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
원문 초록
We study the problem of off-policy evaluation (OPE) for episodic Partially Observable Markov Decision Processes (POMDPs) with continuous states. Motivated by the recently proposed proximal causal inference framework, we develop a non-parametric identification result for estimating the policy value via a sequence of so-called V-bridge functions with the help of time-dependent proxy variables. We then develop a fitted-Q-evaluation-type algorithm to estimate V-bridge functions recursively, where a non-parametric instrumental variable (NPIV) problem is solved at each step. By analyzing this challenging sequential NPIV problem, we establish the finite-sample error bounds for estimating the V-bridge functions and accordingly that for evaluating the policy value, in terms of the sample size, length of horizon and so-called (local) measure of ill-posedness at each step. To the best of our knowledge, this is the first finite-sample error bound for OPE in POMDPs under non-parametric models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
오프-정책 평가를 위한 예산 제약 다중 소스 반사실적 주석 달기
Budgeted Multi-Source Counterfactual Annotation for Off-Policy Evaluation
오프-정책(off-policy) 평가(OPE)는 기록된 데이터로부터 타깃 정책의 가치를 추정하지만, 행동 정책의 제한된 커버리지로 인해 높은 분산의 가중치 재조정이나 보상(reward) 모델(model) 외삽이 불가피할 수 있습니다. 반사실적(counterfactual) 주석(annotation)은 관측되지 않은 행동에 대한 증거를 추가할 수 있지만, 도메인 전문가나 대규모 언어 모델(LLM)을 포함한 실제 소스는 비용이 많이 들거나 편향되거나 노이즈가 있을 수 있습니다. 본 연구에서는 맥락적 밴딧(contextual-bandit) OPE를 위해 이러한 주석을 예산 제약 하에서 획득하는 문제를 연구합니다. 소스별 비용과 오류 프로필이 주어졌을 때, 주석 계획에 의존하는 추정량 분산 성분을 최소화하도록 맥락-행동 쌍과 주석 소스에 대한 정수 할당 문제를 정형화합니다. 또한 첫 번째 주석 임계값과 국소적 주석 가치 영역을 통해 주석이 언제 유용한지 규명합니다. 결합된 다중 소스 문제에 대해, 목적 함수를 단조적으로 개선하는 동적 계획법 서브루틴 기반의 주화-최소화(majorization-minimization) 알고리즘을 개발합니다. 합성 임상 및 LLM 주석 기반 교육 밴딧 실험에서 본 할당 방법은 주석이 없는 경우 대비 고정 프로필 평균 제곱 오차(MSE)를 각각 20.58% 및 10.77% 감소시킴을 보여줍니다.
잘못 지정된 컨텍스트 밴딧에 대한 통계적 추론
Statistical Inference for Misspecified Contextual Bandits
컨텍스트 밴딧(contextual bandit) 알고리즘은 개인화된 처치에 대한 실시간 적응을 가능하게 하면서 현대 실험 방식을 변화시켰다. 그러나 이러한 장점은 적응성(adaptivity) 때문에 통계적 추론에 어려움을 만든다. 우리는 결과 모델이 올바르게 지정(well-specified)되었다고 가정하지 않고 컨텍스트 밴딧 데이터로 추론을 연구한다. 이 설정에서, 우리는 이전에 간과된 문제를 보인다: LinUCB와 같은 표준 알고리즘은 잘못 지정된 작업 모델(misspecified working models) 하에서 안정화에 실패할 수 있으며, 이는 비정규(non-Gaussian) 추정량 거동과 무효한 추론으로 이어진다. 이 문제는 실질적으로 중요하다. 복잡한 동역학계(dynamical systems)의 근사와 같은 잘못 지정된 작업 모델은 보상, 계산적 다루기 쉬움(computational tractability), 견고성(robustness)의 균형을 위해 실세계 적응형 실험에서 온라인 에이전트가 자주 사용하기 때문이다. 우리는 투영 매개변수, 잡음이 있는 컨텍스트의 구조적 매개변수, 오프-정책(off-policy) 가치를 포함하는 넓은 범위의 주변 모멘트(marginal moment) 목표에 대해 역확률 가중(inverse-probability-weighted) Z-추정 프레임워크를 개발한다. 우리는 이 프레임워크에 맞춘 안정성 조건인 scaled inverse-propensity 수렴(convergence)을 확인하며, 이 조건 하에서 IPW-Z 추정량은 일관성(consistency)과 점근 정규성(asymptotically normal)을 갖고 일관된 샌드위치(sandwich) 분산 추정량을 갖는다. 우리는 또한 다-armed 밴딧 알고리즘과 매끄러운 컨텍스트 할당 정책을 포함한 여러 정책 클래스에 대해 scaled inverse-propensity 수렴의 충분 조건을 확립한다. 시뮬레이션과 HeartSteps V1 실데이터 보정(real-data-calibrated) 응용은 여러 목표에 걸쳐 신뢰할 만한 커버리지(coverage)와 경쟁력 있는 성능을 보여준다. 전반적으로, 우리의 결과는 유효한 사후 실험 추론을 위해 안정성을 고려한 적응형 설계의 중요성을 강조한다.
보상이 임의가 아닌 방식으로 결측된 마르코프 결정 과정에서 결측 인지 정책에 대한 오프-정책 평가
Off-Policy Evaluation for Missingness-Aware Policies in MDPs with Rewards Missing Not at Random
오프라인 강화학습에서 기록된 배치 데이터의 즉각적인 보상은 희소하거나 불규칙한 기록 유지, 또는 특정 보상 값 이상에서 검열(censoring)되는 등의 이유로 관측되지 않는 경우가 많습니다. 이러한 문제는 의료 및 마케팅을 포함한 실제 환경에서 발생합니다. 본 연구에서는 보상이 임의가 아닌 방식으로 결측(MNAR)된 유한 수평 마르코프 결정 과정(MDP) 내에서 오프-정책 평가(OPE)를 조사합니다. 이러한 결측은 상태와 행동에 대해 조건화한 후에도 무시 가능성(ignorability)을 위배하고 선택 바이어스를 유발합니다. 이를 해결하기 위해 보상 의존적 성향(propensity) 모델을 공식화하고, 미래 상태를 섀도우 변수(shadow variable)로 활용하여 전체 데이터 조건부 평균 보상을 식별합니다. 또한, MNAR 메커니즘을 명시적으로 모델링하지 않고 조건부 평균 보상을 복구하는 브리지 함수(bridge function)를 도입하며, 이중 샘플링(double sampling)을 방지하기 위해 미니-맥스(min-max) 절차를 통해 이를 추정합니다. 이러한 식별 결과를 바탕으로, 복구된 보상을 전파하는 동시에 타겟 정책이 과거의 결측 지시자(missingness indicator)에 의존할 수 있도록 허용하는 Fitted-Q-Evaluation 스타일의 추정기를 제안합니다. 마지막으로, 제안하는 OPE 추정기에 대한 일관성(consistency)과 유한 표본 오차 경계를 확립하고, 시뮬레이션된 데이터 및 MIMIC-III 패혈증(Sepsis) 데이터를 통해 기존 방법들과 비교하여 본 방법의 우수한 성능을 실험적으로 입증합니다.
연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성
Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts
시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.