arXiv:2306.11918

Adaptive Ensemble Q-learning: Minimizing Estimation Bias via Error Feedback

Hang Wang, Sen Lin, Junshan Zhang

제출 2023-06-20

원문 초록

The ensemble method is a promising way to mitigate the overestimation issue in Q-learning, where multiple function approximators are used to estimate the action values. It is known that the estimation bias hinges heavily on the ensemble size (i.e., the number of Q-function approximators used in the target), and that determining the `right' ensemble size is highly nontrivial, because of the time-varying nature of the function approximation errors during the learning process. To tackle this challenge, we first derive an upper bound and a lower bound on the estimation bias, based on which the ensemble size is adapted to drive the bias to be nearly zero, thereby coping with the impact of the time-varying approximation errors accordingly. Motivated by the theoretic findings, we advocate that the ensemble method can be combined with Model Identification Adaptive Control (MIAC) for effective ensemble size adaptation. Specifically, we devise Adaptive Ensemble Q-learning (AdaEQ), a generalized ensemble method with two key steps: (a) approximation error characterization which serves as the feedback for flexibly controlling the ensemble size, and (b) ensemble size adaptation tailored towards minimizing the estimation bias. Extensive experiments are carried out to show that AdaEQ can improve the learning performance than the existing methods for the MuJoCo benchmark.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.17666v5cs.LG공통 태그 Q-Learning, MuJoCo

그렇다, Q-러닝은 오프라인 인컨텍스트 강화학습에 도움이 된다

Yes, Q-learning Helps Offline In-Context RL

기존의 오프라인 인컨텍스트 강화학습(in-context reinforcement learning, ICRL) 방법들은 주로 지도 학습 목적 함수에 의존해 왔으며, 이러한 목적 함수는 오프라인 RL 환경에서 한계가 있는 것으로 알려져 있다. 본 연구에서는 오프라인 ICRL 프레임워크 내에 RL 목적 함수를 통합하는 방법을 탐구한다. 150개 이상의 GridWorld 및 MuJoCo 환경 기반 데이터셋에 대한 실험을 통해, RL 목적 함수를 직접 최적화하면 다양한 데이터셋 커버리지, 구조, 전문성 수준, 환경 복잡도 전반에서 널리 사용되는 Algorithm Distillation(AD) 대비 평균 약 30%의 성능 향상을 얻을 수 있음을 보인다. 나아가 난이도가 높은 XLand-MiniGrid 환경에서는 RL 목적 함수가 AD의 성능을 두 배로 높였다. 또한 실험 결과, 가치 학습 과정에 보수성(conservatism)을 추가하면 시험한 거의 모든 설정에서 추가적인 성능 향상이 나타났다. 이러한 결과는 ICRL의 학습 목적 함수를 RL의 보상 최대화 목표와 일치시키는 것이 중요함을 강조하며, 오프라인 RL이 ICRL을 발전시키기 위한 유망한 방향임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.