외생적 문맥 MDP 학습을 위한 미니맥스 PAC 한계
Minimax PAC Bounds for Learning in Exogenous Contextual MDPs
본 논문에서는 학습자가 의사결정 시점 이전과 의사결정 시점 모두에서 샘플링 오라클에 접근할 수 있는 PAC 프레임워크를 소개합니다. 샘플 복잡도는 쌍 $(n,m)$으로 측정되며, 여기서 $n$은 쿼리가 알려지기 전에 소비되는 학습 예산이고 $m$은 쿼리당 추가 샘플링 예산입니다. 행동을 취하기 전에 공개되는 외생적 i.i.d.\ 문맥을 갖는 할인 마르코프 결정 과정(discounted MDP)에서 이 프레임워크의 유용성을 입증합니다. 문맥은 보상과 전이 모두에 영향을 미칠 수 있지만 에이전트에 의해 제어되지는 않습니다. 학습자는 미지의 문맥 분포와 전이 커널을 샘플링할 수 있습니다. 본 연구에서는 정책 평가(PE), 최적 가치 추정(BVE), 최적 정책 추출(BPE)을 다룹니다. 보상과 전이가 알려져 있는 경우, 분산 감소 알고리즘은 로그 인수를 제외하고 미니맥스 최적인 $\bigl(\widetilde O((1-γ)^{-3}\varepsilon^{-2}),0\bigr)$의 샘플 복잡도로 세 가지 과제를 모두 해결합니다. $\mathcal{X}$를 제어되는 상태 공간이라고 할 때, 전이 또한 미지인 경우 복잡도 $\bigl(\widetilde O(|\mathcal X|(1-γ)^{-3}\varepsilon^{-2}), \widetilde O((1-γ)^{-2}\varepsilon^{-2})\bigr)$를 갖는 PE 알고리즘과 이 예산 쌍에서의 일치하는 하한을 제시합니다. BVE 및 BPE의 경우 공통 오프라인 예산 $\widetilde O(|\mathcal X|^2|\mathcal A|(1-γ)^{-4}\varepsilon^{-2})$와 각각 $\widetilde O(|\mathcal A|(1-γ)^{-2}\varepsilon^{-2})$ 및 $\widetilde O(|\mathcal A|(1-γ)^{-3}\varepsilon^{-2})$의 쿼리 비용을 갖는 알고리즘을 제시합니다. 중요한 점은 모든 한계가 문맥 공간의 크기(기수)와 무관하다는 것입니다.