Provably Efficient Primal-Dual Reinforcement Learning for CMDPs with Non-stationary Objectives and Constraints
원문 초록
We consider primal-dual-based reinforcement learning (RL) in episodic constrained Markov decision processes (CMDPs) with non-stationary objectives and constraints, which plays a central role in ensuring the safety of RL in time-varying environments. In this problem, the reward/utility functions and the state transition functions are both allowed to vary arbitrarily over time as long as their cumulative variations do not exceed certain known variation budgets. Designing safe RL algorithms in time-varying environments is particularly challenging because of the need to integrate the constraint violation reduction, safe exploration, and adaptation to the non-stationarity. To this end, we identify two alternative conditions on the time-varying constraints under which we can guarantee the safety in the long run. We also propose the \underline{P}eriodically \underline{R}estarted \underline{O}ptimistic \underline{P}rimal-\underline{D}ual \underline{P}roximal \underline{P}olicy \underline{O}ptimization (PROPD-PPO) algorithm that can coordinate with both two conditions. Furthermore, a dynamic regret bound and a constraint violation bound are established for the proposed algorithm in both the linear kernel CMDP function approximation setting and the tabular CMDP setting under two alternative conditions. This paper provides the first provably efficient algorithm for non-stationary CMDPs with safe exploration.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SLAC: 비지도 시뮬레이션 사전학습을 통한 안전하고 효율적인 실로봇 강화학습
SLAC: Safe and Efficient Real-Robot Reinforcement Learning via Unsupervised Simulation Pre-Training
유능한 가정용 및 산업용 로봇을 구축하려면 이동 조작기(mobile manipulator)와 같은 다목적 고자유도(DoF) 시스템의 제어를 숙달해야 한다. 강화학습(RL)은 로봇 제어 정책을 자율적으로 습득하는 데 유망하지만, 고자유도 형태(embodiment)로 확장하는 것은 여전히 어렵다. 실세계에서의 직접 강화학습은 안전한 탐험과 높은 샘플 효율성을 모두 요구하며, 이는 실무에서 달성하기 어렵다. 반면 sim-to-real 강화학습은 현실 격차(reality gap)로 인해 종종 취약하다. 본 논문은 SLAC을 제안한다. 이 방법은 저충실도 시뮬레이터를 활용해 과제 무관(task-agnostic) 잠재 행동 공간(latent action space)을 사전학습하여 복잡한 형태에 대해 실세계 강화학습을 실현 가능하게 한다. SLAC은 시간적 추상화(temporal abstraction), 분리(disentanglement), 안전성(safety)을 촉진하도록 설계된 맞춤형 비지도 기술 발견(skill discovery) 방법을 통해 이 잠재 행동 공간을 학습하며, 이를 통해 효율적인 하위 과제 학습(downstream learning)을 용이하게 한다. 잠재 행동 공간이 학습되면, SLAC은 이를 새로운 오프-정책(off-policy) 강화학습 알고리즘의 행동 인터페이스로 사용하여 실세계 상호작용을 통해 하위 과제를 자율적으로 학습한다. 우리는 양손 이동 조작 과제 모음에서 SLAC을 기존 방법들과 비교 평가했으며, 최첨단(state-of-the-art) 성능을 달성했다. 특히 SLAC은 시연(demonstration)이나 수작업으로 설계된 행동 사전지식(behavior prior) 없이도 1시간 미만의 실세계 상호작용만으로 접촉이 풍부한 전신(whole-body) 과제를 학습한다. 추가 정보 및 로봇 영상: robo-rl.github.io
High-Throughput Distributed Reinforcement Learning via Adaptive Policy Synchronization
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
Bridging the Gap in Vision Language Models in Identifying Unsafe Concepts Across Modalities
Exploring the robustness of TractOracle methods in RL-based tractography
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
토론
이 논문과 연결된 포럼 글이 아직 없습니다.