PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25170v2stat.ML

외생적 문맥 MDP 학습을 위한 미니맥스 PAC 한계

Minimax PAC Bounds for Learning in Exogenous Contextual MDPs

본 논문에서는 학습자가 의사결정 시점 이전과 의사결정 시점 모두에서 샘플링 오라클에 접근할 수 있는 PAC 프레임워크를 소개합니다. 샘플 복잡도는 쌍 $(n,m)$으로 측정되며, 여기서 $n$은 쿼리가 알려지기 전에 소비되는 학습 예산이고 $m$은 쿼리당 추가 샘플링 예산입니다. 행동을 취하기 전에 공개되는 외생적 i.i.d.\ 문맥을 갖는 할인 마르코프 결정 과정(discounted MDP)에서 이 프레임워크의 유용성을 입증합니다. 문맥은 보상과 전이 모두에 영향을 미칠 수 있지만 에이전트에 의해 제어되지는 않습니다. 학습자는 미지의 문맥 분포와 전이 커널을 샘플링할 수 있습니다. 본 연구에서는 정책 평가(PE), 최적 가치 추정(BVE), 최적 정책 추출(BPE)을 다룹니다. 보상과 전이가 알려져 있는 경우, 분산 감소 알고리즘은 로그 인수를 제외하고 미니맥스 최적인 $\bigl(\widetilde O((1-γ)^{-3}\varepsilon^{-2}),0\bigr)$의 샘플 복잡도로 세 가지 과제를 모두 해결합니다. $\mathcal{X}$를 제어되는 상태 공간이라고 할 때, 전이 또한 미지인 경우 복잡도 $\bigl(\widetilde O(|\mathcal X|(1-γ)^{-3}\varepsilon^{-2}), \widetilde O((1-γ)^{-2}\varepsilon^{-2})\bigr)$를 갖는 PE 알고리즘과 이 예산 쌍에서의 일치하는 하한을 제시합니다. BVE 및 BPE의 경우 공통 오프라인 예산 $\widetilde O(|\mathcal X|^2|\mathcal A|(1-γ)^{-4}\varepsilon^{-2})$와 각각 $\widetilde O(|\mathcal A|(1-γ)^{-2}\varepsilon^{-2})$ 및 $\widetilde O(|\mathcal A|(1-γ)^{-3}\varepsilon^{-2})$의 쿼리 비용을 갖는 알고리즘을 제시합니다. 중요한 점은 모든 한계가 문맥 공간의 크기(기수)와 무관하다는 것입니다.

arXiv:2607.02288v1cs.LG

Generalization in offline RL: The structure is more important than the amount of pessimism

오프라인 강화학습(offline RL)에서 일반화 성능은 비관성(pessimism)의 크기가 아니라 그 구조가 최적 해의 대칭성(symmetry)을 존중하는지에 달려 있음을 이론적으로 증명하며, 데이터 증강(data augmentation)을 증강된 데이터셋으로의 직접 학습이 아닌 정책 추출 시 consistency loss로 적용하는 것이 IQL과 CQL에서 일반화를 가장 효과적으로 향상시킴을 실험적으로 검증한다.