An advantage actor-critic algorithm for robotic motion planning in dense and dynamic scenarios
원문 초록
Intelligent robots provide a new insight into efficiency improvement in industrial and service scenarios to replace human labor. However, these scenarios include dense and dynamic obstacles that make motion planning of robots challenging. Traditional algorithms like A* can plan collision-free trajectories in static environment, but their performance degrades and computational cost increases steeply in dense and dynamic scenarios. Optimal-value reinforcement learning algorithms (RL) can address these problems but suffer slow speed and instability in network convergence. Network of policy gradient RL converge fast in Atari games where action is discrete and finite, but few works have been done to address problems where continuous actions and large action space are required. In this paper, we modify existing advantage actor-critic algorithm and suit it to complex motion planning, therefore optimal speeds and directions of robot are generated. Experimental results demonstrate that our algorithm converges faster and stable than optimal-value RL. It achieves higher success rate in motion planning with lesser processing time for robot to reach its goal.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 에이전트 모션 플래닝에서 다중 우선순위 동시 연산
Simultaneous Computation with Multiple Prioritizations in Multi-Agent Motion Planning
대규모 네트워크에서의 다중 에이전트 경로 탐색(MAPF)은 계산적으로 까다로운 문제입니다. MAPF를 위한 접근 방식 중 하나는 우선순위 기반 플래닝(PP)으로, 에이전트들이 우선순위에 따라 순차적으로 계획을 수립합니다. 이는 MAPF에서 계산 효율적인 접근 방식이지만, 해의 품질은 우선순위 지정 방식에 크게 좌우됩니다. 대부분의 우선순위 지정은 일반화가 어려운 휴리스틱에 의존하거나 적절한 우선순위를 찾기 위해 반복 연산을 수행하므로 계산 비용이 발생합니다. 본 연구에서는 에이전트가 여러 우선순위 지정을 동시에 연산하는 방법을 제시합니다. 제안하는 접근 방식은 도메인 특화 지식에 의존하지 않으므로 범용적입니다. 본 연구의 배경은 계산 시간 제약 조건이 있는 후퇴 지평선 기반 다중 에이전트 모션 플래닝(MAMP)입니다. MAMP는 MAPF에 비해 시스템 동역학을 더 상세히 고려합니다. MAMP에 대한 수치 실험을 통해, 제안하는 기법이 계산 시간의 미미한 증가만으로 거의 최적에 가까운 우선순위 지정을 달성하고 최신(SOTA) 방법들보다 우수한 성능을 보임을 입증합니다. 또한 Cyber-Physical Mobility Lab에서 10대의 차량을 이용한 도로망 실험을 통해 실시간 동작 가능성을 보여줍니다.
스트리밍 심층 강화학습이 마침내 작동하다
Streaming Deep Reinforcement Learning Finally Works
경험이 도착하는 대로 스트림 형태로 학습하는 것, 즉 스트리밍 학습(streaming learning)은 자연스러운 학습의 핵심 요소이다. 그러나 신뢰할 수 있는 스트리밍 학습은 현대 심층 강화학습(RL)에서 지속적인 난제로 남아있다. 대신 대부분의 심층 RL 알고리즘은 과거의 상호작용을 버퍼에 저장하여 오래된 경험으로부터 학습한다. 우리는 Q-러닝(Q-learning) 및 액터-크리틱(actor-critic)과 같은 고전적 스트리밍 RL을 심층 신경망과 함께 사용할 때, 그리고 PPO, SAC, DQN과 같은 배치 심층 RL을 스트리밍 설정에 맞게 적용할 때 모두 종종 학습에 실패함을 보인다. 58개의 Atari 게임과 50개의 연속 제어(continuous-control) 과제 전반에서, 우리는 광범위한 과제별 하이퍼파라미터 탐색에도 불구하고 이러한 방법들이 종합적으로 무작위 정책(random policy)에 가까운 성능을 보임을 발견하였다. 우리는 이 패턴을 스트림 장벽(stream barrier)이라 부른다. 여기서 우리는 신호 정규화(signal normalization), 표현 안정화(representation stabilization), 통제된 매개변수 업데이트(controlled parameter updates)를 결합한, 스트리밍 심층 RL 알고리즘을 위한 공유 레시피인 Stream-X를 소개한다. Stream-X를 여러 기본 스트리밍 RL 알고리즘에 적용함으로써, 우리는 스트림 장벽을 극복한 최초의 심층 RL 알고리즘군을 제공한다. 과제 전반에 걸쳐 알고리즘별로 하나의 지정된 하이퍼파라미터 구성을 사용하여, Stream-X는 종합 성능을 크게 향상시키며 이는 종종 배치 RL 알고리즘과 대등한 수준이다. 이러한 벤치마크를 넘어, 우리는 비정상성(nonstationarity)과 자원 제약(resource constraints) 하에서 Stream-X 알고리즘을 이용한 학습을 시연한다. Stream-X 알고리즘 중 하나인 Stream-AC는 시뮬레이션에서 교대로 바뀌는 바닥 마찰(floor-friction) 환경 전반에 걸쳐 성능을 반복적으로 회복하며, 평가된 PPO 및 SAC 베이스라인을 능가한다. 또한 자연스럽게 변화하는 실험실 환경에서 온보드 카메라의 고유수용성(proprioceptive) 및 시각적 특징을 사용하여 로봇의 헤딩 추적(heading tracking) 과제를 학습한다. Stream-Q는 제한된 연산 및 메모리를 가진 장치인 ESP32-S3 마이크로컨트롤러 상에서 픽셀로부터 직접 퐁(Pong) 게임을 학습한다.
Generalized Adaptive Transfer Network: Enhancing Transfer Learning in Reinforcement Learning Across Domains
Epona: Autoregressive Diffusion World Model for Autonomous Driving
Adaptive Action Duration with Contextual Bandits for Deep Reinforcement Learning in Dynamic Environments
Meta-learning how to Share Credit among Macro-Actions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.