arXiv:2110.01101

Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations

Chi Zhang, Sanmukh Rao Kuppannagari, Viktor K Prasanna

제출 2021-10-03

원문 초록

Reinforcement Learning (RL) has achieved significant success in application domains such as robotics, games and health care. However, training RL agents is very time consuming. Current implementations exhibit poor performance due to challenges such as irregular memory accesses and thread-level synchronization overheads on CPU. In this work, we propose a framework for generating scalable reinforcement learning implementations on multi-core systems. Replay Buffer is a key component of RL algorithms which facilitates storage of samples obtained from environmental interactions and data sampling for the learning process. We define a new data structure for Prioritized Replay Buffer based on $K$-ary sum tree that supports asynchronous parallel insertions, sampling, and priority updates. To address the challenge of irregular memory accesses, we propose a novel data layout to store the nodes of the sum tree that reduces the number of cache misses. Additionally, we propose $\textit{lazy writing}$ mechanism to reduce thread-level synchronization overheads of the Replay Buffer operations. Our framework employs parallel actors to concurrently collect data via environmental interactions, and parallel learners to perform stochastic gradient descent using the collected data. Our framework supports a wide range of reinforcement learning algorithms including DQN, DDPG, etc. We demonstrate the effectiveness of our framework in accelerating RL algorithms by performing experiments on CPU + GPU platform using OpenAI benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27547v1cs.LG공통 태그 GPU, Reinforcement Learning, CPU

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.