arXiv:2402.05950

SQT -- std $Q$-target

Nitsan Soffair, Dotan Di-Castro, Orly Avner, Shie Mannor

제출 2024-02-03

원문 초록

Std $Q$-target is a conservative, actor-critic, ensemble, $Q$-learning-based algorithm, which is based on a single key $Q$-formula: $Q$-networks standard deviation, which is an "uncertainty penalty", and, serves as a minimalistic solution to the problem of overestimation bias. We implement SQT on top of TD3/TD7 code and test it against the state-of-the-art (SOTA) actor-critic algorithms, DDPG, TD3 and TD7 on seven popular MuJoCo and Bullet tasks. Our results demonstrate SQT's $Q$-target formula superiority over TD3's $Q$-target formula as a conservative solution to overestimation bias in RL, while SQT shows a clear performance advantage on a wide margin over DDPG, TD3, and TD7 on all tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.17666v5cs.LG공통 태그 Q-Learning, MuJoCo

그렇다, Q-러닝은 오프라인 인컨텍스트 강화학습에 도움이 된다

Yes, Q-learning Helps Offline In-Context RL

기존의 오프라인 인컨텍스트 강화학습(in-context reinforcement learning, ICRL) 방법들은 주로 지도 학습 목적 함수에 의존해 왔으며, 이러한 목적 함수는 오프라인 RL 환경에서 한계가 있는 것으로 알려져 있다. 본 연구에서는 오프라인 ICRL 프레임워크 내에 RL 목적 함수를 통합하는 방법을 탐구한다. 150개 이상의 GridWorld 및 MuJoCo 환경 기반 데이터셋에 대한 실험을 통해, RL 목적 함수를 직접 최적화하면 다양한 데이터셋 커버리지, 구조, 전문성 수준, 환경 복잡도 전반에서 널리 사용되는 Algorithm Distillation(AD) 대비 평균 약 30%의 성능 향상을 얻을 수 있음을 보인다. 나아가 난이도가 높은 XLand-MiniGrid 환경에서는 RL 목적 함수가 AD의 성능을 두 배로 높였다. 또한 실험 결과, 가치 학습 과정에 보수성(conservatism)을 추가하면 시험한 거의 모든 설정에서 추가적인 성능 향상이 나타났다. 이러한 결과는 ICRL의 학습 목적 함수를 RL의 보상 최대화 목표와 일치시키는 것이 중요함을 강조하며, 오프라인 RL이 ICRL을 발전시키기 위한 유망한 방향임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.