Diffusion World Model: Future Modeling Beyond Step-by-Step Rollout for Offline Reinforcement Learning
원문 초록
We introduce Diffusion World Model (DWM), a conditional diffusion model capable of predicting multistep future states and rewards concurrently. As opposed to traditional one-step dynamics models, DWM offers long-horizon predictions in a single forward pass, eliminating the need for recursive queries. We integrate DWM into model-based value estimation, where the short-term return is simulated by future trajectories sampled from DWM. In the context of offline reinforcement learning, DWM can be viewed as a conservative value regularization through generative modeling. Alternatively, it can be seen as a data source that enables offline Q-learning with synthetic data. Our experiments on the D4RL dataset confirm the robustness of DWM to long-horizon simulation. In terms of absolute performance, DWM significantly surpasses one-step dynamics models with a $44\%$ performance gain, and is comparable to or slightly surpassing their model-free counterparts.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Flow Q-Learning
Q-Distribution guided Q-learning for offline reinforcement learning: Uncertainty penalized Q-value via consistency model
RankQ: 자기지도 행동 순위화를 통한 오프라인-투-온라인 강화학습
RankQ: Offline-to-Online Reinforcement Learning via Self-Supervised Action Ranking
오프라인-투-온라인 강화학습(RL)은 온라인 상호작용 이전에 사전 수집된 데이터셋을 활용하여 샘플 효율성을 향상시킵니다. 그러나 데이터셋의 커버리지가 제한적인 대규모 상태-행동 공간에서 정확한 크리틱(critic)을 학습하는 것이 주요 난제로 남아 있습니다. 가치 과대추정으로 인한 유해한 업데이트를 완화하기 위해 기존 방법들은 데이터셋 행동 대비 분포 외(OOD) 행동의 가중치를 낮추는 방식으로 비관주의(pessimism)를 적용합니다. 이는 효과적이기는 하나 본질적으로 행동 복제(behavior cloning) 닻 역할을 하여 데이터셋 행동이 차선책일 경우 후속 온라인 정책 개선을 저해할 수 있습니다. 본 연구에서는 구조화된 행동 순서를 강제하기 위해 시간차 학습(temporal-difference learning)에 자기지도 다중 항 순위화 손실을 결합한 오프라인-투-온라인 Q-러닝 목적 함수인 RankQ를 제안합니다. RankQ는 보이지 않는 행동에 일률적인 페널티를 부여하는 대신 상대적인 행동 선호도를 학습함으로써 행동 그래디언트가 더 높은 품질의 행동을 향하도록 Q-함수를 형성합니다. 희소 보상 D4RL 벤치마크 전반에서 RankQ는 7개의 베이스라인 대비 경쟁력 있는 전반적 성능을 달성합니다. 비전 기반 로봇 학습에서 RankQ는 데이터가 적은 환경에서도 사전학습된 비전-언어-행동(VLA) 모델의 효과적인 오프라인-투-온라인 미세조정을 가능하게 하여, 차상위 방법 대비 평균 시뮬레이션 성공률을 38.2%p 높였습니다. 데이터가 많은 환경에서 RankQ는 차상위 방법 대비 시뮬레이션 성능을 13.7%p 향상시켰으며, VLA의 초기 성능 대비 실제 환경 큐브 쌓기 성공률을 43.1%에서 88.9%로 증가시켜 강력한 sim-to-real 전이를 입증했습니다.
Imagination-Limited Q-Learning for Offline Reinforcement Learning
Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network
Projection Implicit Q-Learning with Support Constraint for Offline Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.