arXiv:2401.03337

MTAC: Hierarchical Reinforcement Learning-based Multi-gait Terrain-adaptive Quadruped Controller

Nishaant Shah, Kshitij Tiwari, Aniket Bera

제출 2023-11-01

원문 초록

Urban search and rescue missions require rapid first response to minimize loss of life and damage. Often, such efforts are assisted by humanitarian robots which need to handle dynamic operational conditions such as uneven and rough terrains, especially during mass casualty incidents like an earthquake. Quadruped robots, owing to their versatile design, have the potential to assist in such scenarios. However, control of quadruped robots in dynamic and rough terrain environments is a challenging problem due to the many degrees of freedom of these robots. Current locomotion controllers for quadrupeds are limited in their ability to produce multiple adaptive gaits, solve tasks in a time and resource-efficient manner, and require tedious training and manual tuning procedures. To address these challenges, we propose MTAC: a multi-gait terrain-adaptive controller, which utilizes a Hierarchical reinforcement learning (HRL) approach while being time and memory-efficient. We show that our proposed method scales well to a diverse range of environments with similar compute times as state-of-the-art methods. Our method showed greater than 75% on most tasks, outperforming previous work on the majority of test cases.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.22509v1cs.AI공통 태그 reinforcement-learning, Hierarchical Reinforcement Learning

계층적 강화학습에서 안전성 확보를 위한 상상

Imagine to Ensure Safety in Hierarchical Reinforcement Learning

본 연구는 강화학습에서 에이전트가 누적 성능을 최대화하는 동시에 안전 제약을 만족해야 하는 안전 탐험 문제를 조사한다. 이 과제는 장기(horizon) 작업에서 더욱 두드러지며, 기존 안전 방법들은 누적 추정 오류와 제한적인 탐험 능력으로 인해 근본적인 한계에 직면한다. 이 문제를 해결하기 위해, 본 논문은 학습 가능한 세계 모델(world model)과 두 개의 상호 보완적 정책—고수준 정책과 저수준 정책—을 결합하여 계층적 수준 모두에서 안전성을 높이는 방법을 제안한다. 고수준 정책은 탐험을 안전한 영역으로 바이어스하기 위한 중간 부분 목표(subgoal)를 생성하고, 저수준 정책은 학습된 세계 모델에서 상상된 롤아웃(imagined rollout)을 사용하여 이러한 부분 목표에 도달할 때 불안전한 행동을 줄인다. 제안 방법은 고차원 행동 공간을 가진 도전적인 장기 내비게이션 및 조작 작업에서 평가되었으며, 성공률과 강한 경험적 제약 만족 모두에서 기존 안전 강화학습(Safe RL) 베이스라인을 크게 뛰어넘었다. 시드 전반에서 지정된 안전 예산을 일관되게 충족한 반면, 기존 접근법은 이러한 복잡한 장기 시나리오를 효과적으로 해결하지 못했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.