arXiv:2402.05951

MinMaxMin $Q$-learning

Nitsan Soffair, Shie Mannor

제출 2024-02-03

원문 초록

MinMaxMin $Q$-learning is a novel optimistic Actor-Critic algorithm that addresses the problem of overestimation bias ($Q$-estimations are overestimating the real $Q$-values) inherent in conservative RL algorithms. Its core formula relies on the disagreement among $Q$-networks in the form of the min-batch MaxMin $Q$-networks distance which is added to the $Q$-target and used as the priority experience replay sampling-rule. We implement MinMaxMin on top of TD3 and TD7, subjecting it to rigorous testing against state-of-the-art continuous-space algorithms-DDPG, TD3, and TD7-across popular MuJoCo and Bullet environments. The results show a consistent performance improvement of MinMaxMin over DDPG, TD3, and TD7 across all tested tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.17666v5cs.LG공통 태그 Q-Learning, MuJoCo

그렇다, Q-러닝은 오프라인 인컨텍스트 강화학습에 도움이 된다

Yes, Q-learning Helps Offline In-Context RL

기존의 오프라인 인컨텍스트 강화학습(in-context reinforcement learning, ICRL) 방법들은 주로 지도 학습 목적 함수에 의존해 왔으며, 이러한 목적 함수는 오프라인 RL 환경에서 한계가 있는 것으로 알려져 있다. 본 연구에서는 오프라인 ICRL 프레임워크 내에 RL 목적 함수를 통합하는 방법을 탐구한다. 150개 이상의 GridWorld 및 MuJoCo 환경 기반 데이터셋에 대한 실험을 통해, RL 목적 함수를 직접 최적화하면 다양한 데이터셋 커버리지, 구조, 전문성 수준, 환경 복잡도 전반에서 널리 사용되는 Algorithm Distillation(AD) 대비 평균 약 30%의 성능 향상을 얻을 수 있음을 보인다. 나아가 난이도가 높은 XLand-MiniGrid 환경에서는 RL 목적 함수가 AD의 성능을 두 배로 높였다. 또한 실험 결과, 가치 학습 과정에 보수성(conservatism)을 추가하면 시험한 거의 모든 설정에서 추가적인 성능 향상이 나타났다. 이러한 결과는 ICRL의 학습 목적 함수를 RL의 보상 최대화 목표와 일치시키는 것이 중요함을 강조하며, 오프라인 RL이 ICRL을 발전시키기 위한 유망한 방향임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.