arXiv:2012.11989

Self-Imitation Advantage Learning

Johan Ferret, Olivier Pietquin, Matthieu Geist

제출 2020-12-22

원문 초록

Self-imitation learning is a Reinforcement Learning (RL) method that encourages actions whose returns were higher than expected, which helps in hard exploration and sparse reward problems. It was shown to improve the performance of on-policy actor-critic methods in several discrete control tasks. Nevertheless, applying self-imitation to the mostly action-value based off-policy RL methods is not straightforward. We propose SAIL, a novel generalization of self-imitation learning for off-policy RL, based on a modification of the Bellman optimality operator that we connect to Advantage Learning. Crucially, our method mitigates the problem of stale returns by choosing the most optimistic return estimate between the observed return and the current action-value for self-imitation. We demonstrate the empirical effectiveness of SAIL on the Arcade Learning Environment, with a focus on hard exploration games.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.02092v4cs.RO공통 태그 Reinforcement Learning (RL), Imitation Learning

Guided Action Flow: 동결된 비전-언어-행동 정책을 위한 가치 유도 샘플링

Guided Action Flow: Value-Guided Sampling for Frozen Vision-Language-Action Policies

강화학습(reinforcement learning)은 지도 미세조정(supervised fine-tuning)을 넘어 비전-언어-행동(VLA) 정책을 개선할 수 있지만, 일반적으로 정책 매개변수(parameter)에 대한 추가적인 업데이트를 수반합니다. 플로우 매칭(flow-matching) 정책의 경우, 반복적인 행동 생성은 추론(inference) 중에 태스크 정보를 통합할 수 있는 추가적인 기회를 제공합니다. 본 논문에서는 로봇 태스크 롤아웃(rollout)으로부터 소형의 관측 조건부 행동-가치 크리틱(action-value critic)을 학습하고, 역시간 플로우 샘플링을 유도하기 위해 해당 크리틱의 행동 그래디언트(gradient)를 적용하는 Guided Action Flow(GAF)를 소개합니다. 지도 미세조정된 VLA는 크리틱 학습 및 배포 전반에 걸쳐 동결된 상태로 유지됩니다. 실제 로봇 실험 결과, 6개의 기본 조작 태스크 전반에서 종합 성공률이 60.0%에서 82.5%로 증가함을 보였습니다. 이 중 3개 태스크에서 평가된 6가지 조명 변경 및 물체 방해 요인 조건에서는 종합 성공률이 34.2%에서 49.2%로 향상되었습니다. 소거 연구(ablation) 및 롤아웃 분석은 학습된 유도 방향과 크리틱의 시각 및 고유수용성 감각(proprioceptive) 입력의 중요성을 뒷받침합니다. 0.45B 매개변수의 VLA와 함께 약 2.735M개의 학습 가능한 크리틱 매개변수를 갖춘 GAF는 컴팩트한 추론 시점 유도 모듈을 통해 태스크 결과가 행동 생성에 반영될 수 있도록 지원합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.