Goal Space Abstraction in Hierarchical Reinforcement Learning via Set-Based Reachability Analysis
원문 초록
Open-ended learning benefits immensely from the use of symbolic methods for goal representation as they offer ways to structure knowledge for efficient and transferable learning. However, the existing Hierarchical Reinforcement Learning (HRL) approaches relying on symbolic reasoning are often limited as they require a manual goal representation. The challenge in autonomously discovering a symbolic goal representation is that it must preserve critical information, such as the environment dynamics. In this paper, we propose a developmental mechanism for goal discovery via an emergent representation that abstracts (i.e., groups together) sets of environment states that have similar roles in the task. We introduce a Feudal HRL algorithm that concurrently learns both the goal representation and a hierarchical policy. The algorithm uses symbolic reachability analysis for neural networks to approximate the transition relation among sets of states and to refine the goal representation. We evaluate our approach on complex navigation tasks, showing the learned representation is interpretable, transferrable and results in data efficient learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Discovering Temporal Structure: An Overview of Hierarchical Reinforcement Learning
계층적 강화학습에서 안전성 확보를 위한 상상
Imagine to Ensure Safety in Hierarchical Reinforcement Learning
본 연구는 강화학습에서 에이전트가 누적 성능을 최대화하는 동시에 안전 제약을 만족해야 하는 안전 탐험 문제를 조사한다. 이 과제는 장기(horizon) 작업에서 더욱 두드러지며, 기존 안전 방법들은 누적 추정 오류와 제한적인 탐험 능력으로 인해 근본적인 한계에 직면한다. 이 문제를 해결하기 위해, 본 논문은 학습 가능한 세계 모델(world model)과 두 개의 상호 보완적 정책—고수준 정책과 저수준 정책—을 결합하여 계층적 수준 모두에서 안전성을 높이는 방법을 제안한다. 고수준 정책은 탐험을 안전한 영역으로 바이어스하기 위한 중간 부분 목표(subgoal)를 생성하고, 저수준 정책은 학습된 세계 모델에서 상상된 롤아웃(imagined rollout)을 사용하여 이러한 부분 목표에 도달할 때 불안전한 행동을 줄인다. 제안 방법은 고차원 행동 공간을 가진 도전적인 장기 내비게이션 및 조작 작업에서 평가되었으며, 성공률과 강한 경험적 제약 만족 모두에서 기존 안전 강화학습(Safe RL) 베이스라인을 크게 뛰어넘었다. 시드 전반에서 지정된 안전 예산을 일관되게 충족한 반면, 기존 접근법은 이러한 복잡한 장기 시나리오를 효과적으로 해결하지 못했다.
Hierarchical Reinforcement Learning and Value Optimization for Challenging Quadruped Locomotion
HiLight: A Hierarchical Reinforcement Learning Framework with Global Adversarial Guidance for Large-Scale Traffic Signal Control
Discounting and Drug Seeking in Biological Hierarchical Reinforcement Learning
Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.