arXiv:2103.00445

Ensemble Bootstrapping for Q-Learning

Oren Peer, Chen Tessler, Nadav Merlis, Ron Meir

제출 2021-02-28

원문 초록

Q-learning (QL), a common reinforcement learning algorithm, suffers from over-estimation bias due to the maximization term in the optimal Bellman operator. This bias may lead to sub-optimal behavior. Double-Q-learning tackles this issue by utilizing two estimators, yet results in an under-estimation bias. Similar to over-estimation in Q-learning, in certain scenarios, the under-estimation bias may degrade performance. In this work, we introduce a new bias-reduced algorithm called Ensemble Bootstrapped Q-Learning (EBQL), a natural extension of Double-Q-learning to ensembles. We analyze our method both theoretically and empirically. Theoretically, we prove that EBQL-like updates yield lower MSE when estimating the maximal mean of a set of independent random variables. Empirically, we show that there exist domains where both over and under-estimation result in sub-optimal performance. Finally, We demonstrate the superior performance of a deep RL variant of EBQL over other deep QL algorithms for a suite of ATARI games.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2410.14606v3cs.LG공통 태그 Q-Learning, Atari Games공식 코드 · Papers with Code

스트리밍 심층 강화학습이 마침내 작동하다

Streaming Deep Reinforcement Learning Finally Works

경험이 도착하는 대로 스트림 형태로 학습하는 것, 즉 스트리밍 학습(streaming learning)은 자연스러운 학습의 핵심 요소이다. 그러나 신뢰할 수 있는 스트리밍 학습은 현대 심층 강화학습(RL)에서 지속적인 난제로 남아있다. 대신 대부분의 심층 RL 알고리즘은 과거의 상호작용을 버퍼에 저장하여 오래된 경험으로부터 학습한다. 우리는 Q-러닝(Q-learning) 및 액터-크리틱(actor-critic)과 같은 고전적 스트리밍 RL을 심층 신경망과 함께 사용할 때, 그리고 PPO, SAC, DQN과 같은 배치 심층 RL을 스트리밍 설정에 맞게 적용할 때 모두 종종 학습에 실패함을 보인다. 58개의 Atari 게임과 50개의 연속 제어(continuous-control) 과제 전반에서, 우리는 광범위한 과제별 하이퍼파라미터 탐색에도 불구하고 이러한 방법들이 종합적으로 무작위 정책(random policy)에 가까운 성능을 보임을 발견하였다. 우리는 이 패턴을 스트림 장벽(stream barrier)이라 부른다. 여기서 우리는 신호 정규화(signal normalization), 표현 안정화(representation stabilization), 통제된 매개변수 업데이트(controlled parameter updates)를 결합한, 스트리밍 심층 RL 알고리즘을 위한 공유 레시피인 Stream-X를 소개한다. Stream-X를 여러 기본 스트리밍 RL 알고리즘에 적용함으로써, 우리는 스트림 장벽을 극복한 최초의 심층 RL 알고리즘군을 제공한다. 과제 전반에 걸쳐 알고리즘별로 하나의 지정된 하이퍼파라미터 구성을 사용하여, Stream-X는 종합 성능을 크게 향상시키며 이는 종종 배치 RL 알고리즘과 대등한 수준이다. 이러한 벤치마크를 넘어, 우리는 비정상성(nonstationarity)과 자원 제약(resource constraints) 하에서 Stream-X 알고리즘을 이용한 학습을 시연한다. Stream-X 알고리즘 중 하나인 Stream-AC는 시뮬레이션에서 교대로 바뀌는 바닥 마찰(floor-friction) 환경 전반에 걸쳐 성능을 반복적으로 회복하며, 평가된 PPO 및 SAC 베이스라인을 능가한다. 또한 자연스럽게 변화하는 실험실 환경에서 온보드 카메라의 고유수용성(proprioceptive) 및 시각적 특징을 사용하여 로봇의 헤딩 추적(heading tracking) 과제를 학습한다. Stream-Q는 제한된 연산 및 메모리를 가진 장치인 ESP32-S3 마이크로컨트롤러 상에서 픽셀로부터 직접 퐁(Pong) 게임을 학습한다.

arXiv:2506.03392v3cs.LG공통 태그 Q-Learning, Atari Games

3진 뉴런을 활용한 스파이크 기반 심층 Q-러닝의 성능 향상

Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

본 연구에서는 심층 Q-러닝(deep Q-learning)에서 2진 스파이킹 뉴런(binary spiking neuron)의 표현 용량(representation capacity)을 향상시키기 위한 새로운 3진 스파이킹 뉴런 모델을 제안합니다. 최근 2진 스파이킹 뉴런의 제한된 표현 용량을 극복하기 위해 3진 뉴런 모델이 도입되었으나, 본 연구에서는 최근 연구들의 기존 발견과 달리 심층 Q-러닝 태스크에서 해당 모델의 성능이 2진 모델보다 저하된다는 점을 보입니다. 수학적 및 실증적 분석을 통해, 학습(training) 중 발생하는 그래디언트(gradient) 추정 바이어스(bias)가 이러한 문제의 근본적인 원인이라는 가설을 제시합니다. 제안하는 3진 스파이킹 뉴런 모델은 이러한 추정 바이어스를 줄임으로써 해당 문제를 완화합니다. 제안된 3진 스파이킹 뉴런을 심층 비대칭 3진 스파이킹 Q-네트워크(DATSQN)라 명명한 심층 스파이킹 Q-러닝 네트워크의 기본 연산 단위로 사용하고, Gym 환경(environment)의 7가지 Atari 게임에서 네트워크의 성능을 평가합니다. 실험 결과에 따르면 제안하는 3진 스파이킹 뉴런은 DQN 태스크에서 3진 뉴런의 성능 저하를 완화하며, 본 논문에서 사용된 평가 환경 하에서 2진 기준선(baseline) 대비 평균 게임 점수를 향상시킵니다.

arXiv:2412.04847v2cs.NE공통 태그 Q-Learning, Atari Games

활성 수상돌기를 갖춘 스파이킹 신경망을 통한 에너지 효율적 동시 다중 과제 강화학습: 생체모방 범용 에이전트

Enabling Energy-Efficient Simultaneous Multi-Task Reinforcement Learning through Spiking Neural Networks with Active Dendrites for Bio-inspired Generalist Agents

강화학습(RL)은 모바일 로봇, UAV/UGV, 게임 플레이 에이전트와 같이 복잡한 과제를 자율적으로 해결하도록 에이전트를 학습하는 데 뛰어난 능력을 보여주었다. 그러나 RL을 확장하여 여러 과제를 동시에 마스터하는 것(즉, 다중 과제 RL)은 여전히 큰 도전 과제로 남아 있다. 이러한 다중 과제 RL 능력은 특히 실제 운영 환경의 변화에 에이전트가 적응하는 데 중요하다. 최신 연구들은 과제 간 공유 구조를 갖춘 신경망으로 에이전트를 학습할 때 동시 다중 과제 RL에서 일반화가 향상될 수 있음을 보여준다. 그러나 이러한 방법은 여전히 과제 간 간섭을 겪고, 집약적인 연산으로 인해 높은 에너지 소비가 발생한다. 이를 해결하기 위해, 우리는 생체모방 범용 에이전트를 위해 활성 수상돌기를 갖춘 스파이킹 신경망(SNN)을 사용하여 에너지 효율적인 동시 다중 과제 RL을 가능하게 하는 새로운 방법론인 MTSpark를 제안한다. 구체적으로, MTSpark는 활성 수상돌기, 듀얼링 구조, 과제별 컨텍스트 신호로 Deep Spiking Q-Network(DSQN)을 확장하여 개별 과제에 대해 동적으로 특화된 서브네트워크를 형성하면서, 에너지 효율적인 네트워크 처리를 위해 희소 연산을 활용한다. 실험 결과는 MTSpark가 세 가지 Atari 게임(Pong: -5.4, Breakout: 0.6, Enduro: 371.2)에서 높은 점수를 달성하여 인간 수준 성능(Pong: -3, Breakout: 31, Enduro: 368)에 근접함으로써 최신 방법 대비 더 높은 성능과 효율을 달성함을 보여준다. 또한 유사한 메모리를 사용하면서 최신 방법 대비 약 2배 낮은 에너지를 소비한다. 이러한 결과는 MTSpark가 RL과 SNN을 결합함으로써 에너지 효율적인 범용 에이전트를 향한 경계를 잠재적으로 앞당길 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.