PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2409.14557v5stat.ML공식 코드 · Papers with Code

샘플 효율적인 강화학습을 위한 외생적 구조 활용

Exploiting Exogenous Structure for Sample-Efficient Reinforcement Learning

우리는 상태 공간이 외생적(exogenous) 및 내생적(endogenous) 구성요소로 분할되는, Exo-MDP로 알려진 구조화된 마르코프 결정 과정(MDP) 클래스를 연구한다. 외생적 상태는 에이전트(agent)의 행동과 무관하게 확률적으로 변화하는 반면, 내생적 상태는 두 상태 구성요소와 행동 모두에 기반하여 결정론적으로 변화한다. Exo-MDP는 재고 관리, 자원 관리, 차량 호출(ride-sharing)을 포함한 많은 운영 과학(operations research) 설정을 포착한다. 우리의 첫 번째 기여는 구조적 측면으로, 이산 MDP, Exo-MDP, 이산 선형 혼합 MDP 사이의 표현적 동치 관계를 확립한다. 두 번째 기여는 통계적 측면이다. 유효 차원 $r$이 내생적 상태 및 행동 공간에 비해 작을 때 Exo-MDP 학습의 미니맥스 후회(minimax regret)를 규명한다. 외생적 상태가 관측되지 않을 때, Exo-MDP의 유효 차원이 $r$인 경우 수평선(horizon) $H$의 $K$개 에피소드에 걸쳐 $Θ(Hr \sqrt{K})$ 차수의 일치하는 상한 및 하한 후회 경계를 증명한다. 외생적 상태가 관측되는 경우 미니맥스 후회는 $Θ(H\sqrt{ r K})$로 개선되어, 외생적 상태 관측으로 인한 $Θ(\sqrt{r})$의 통계적 격차를 밝혀낸다. 이러한 결과는 Exo-MDP가 샘플 복잡도(sample complexity)를 행동 공간 및 내생적 상태 공간으로부터 분리함을 보여준다. 우리는 재고 관리 및 자원 할당에 대한 실험을 통해 이러한 통찰을 검증한다.