arXiv:2608.27508v1 cs.AI

WM-R1: 강화학습으로 GUI 에이전트가 추론하고 월드 모델을 활용하도록 학습시키기

WM-R1: Training GUI Agents to Reason and leverage World Models with Reinforcement Learning

Yu Han, Tianwen Qian

제출 2026-08-27

한국어 초록

강화학습(RL)으로 학습된 GUI 에이전트(agent)는 모바일 플랫폼에서 강력한 환경 학습 능력을 보여 왔다. 그러나 RL은 일반적으로 방대한 실제 환경 상호작용을 요구하여, 특히 GUI 시나리오에서 높은 자원 비용과 불안정성을 초래한다. 이를 해결하기 위해 본 논문은 실제 환경 대신 월드 모델(world model)로 모바일 GUI 에이전트를 학습시키는 최초의 강화학습 프레임워크인 WM-R1을 제안한다. 구체적으로, 월드 모델은 모든 롤아웃(rollout) 동안 상태 전이의 원천 역할을 하며, 학습 루프 내에서 실제 Android 환경을 대체한다. 또한 WM-R1은 월드 모델을 사고 과정에 직접 내장하여, 에이전트가 최종 행동을 확정하기 전에 후보 행동의 결과를 추론할 수 있도록 한다. 특히 WM-R1은 실제 환경 상호작용의 필요성을 제거하고, 월드 모델에 기반한 대규모 병렬 및 스텝 단위(step-level)의 세분화된 궤적 생성을 지원하며, 과업 성공, 궤적 효율성, 월드 모델 활용도를 함께 최적화하는 다차원 규칙 기반 보상을 도입한다. 효율적인 학습을 위해 어려운 과업 2000개로 구성된 고품질 데이터셋을 구축하였다. Android 모바일 벤치마크 실험 결과, WM-R1으로 학습된 에이전트는 GRPO만 사용한 베이스라인과 추론 시점 시뮬레이션 방법을 모두 유의미하게 능가함을 보였다. 코드는 https://github.com/genalyu/WM-R1 에서 확인할 수 있다.

원문 초록

GUI agents trained with reinforcement learning (RL) have showcased strong environment learning capabilities on mobile platforms. However, RL typically demands extensive real-environment interactions, leading to high resource costs and instability, especially in GUI scenarios. To address these, we propose WM-R1, the first reinforcement learning framework that trains mobile GUI agents with world models instead of real environments. Specifically, world models serve as the source of state transitions during all rollouts, replacing the real Android environment within the training loop. WM-R1 also embeds world models directly into the thinking process, enabling agents to reason about the consequences of candidate actions before committing to the final action. Crucially, WM-R1 eliminates the need for real-environment interaction, supports massively parallelized and step-level granularized trajectory generation grounded in world models, and introduces a multi-dimensional rule-based reward that jointly optimizes task success, trajectory efficiency, and world model utilization. For efficient training, we curate a high-quality dataset of 2000 challenging tasks. Experiments on Android mobile benchmarks demonstrate that WM-R1-trained agents significantly outperform GRPO-only baselines and inference-time simulation methods. Code is available at https://github.com/genalyu/WM-R1 .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.27508v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.