모바일 GUI 에이전트에서 온라인 강화학습은 어디까지 일반화되는가? AndroidWorld-Generalization을 이용한 통제 연구
How Far Does Online RL Generalize in Mobile GUI Agents? A Controlled Study with AndroidWorld-Generalization
한국어 초록
온라인 강화학습(RL)은 AndroidWorld에서 모바일 GUI 에이전트의 성공률을 80\% 이상으로 끌어올렸으나, 이러한 시스템은 동일한 환경에서 학습하고 평가하며 학습 과제도 감사를 위해 공개되지 않는다. 따라서 RL이 학습 맥락을 넘어 어디까지 일반화되는지는 아직 측정되지 않았다. 본 연구에서는 모바일 환경을 맥락적 MDP(Contextual MDP)로 형식화하고, 점점 멀어지는 세 단계의 맥락 변화인 미확인 인스턴스, 미확인 템플릿, 미확인 애플리케이션을 AndroidWorld-Generalization으로 구현하였으며, 그 분리는 수작업으로 검증하였다. 또한 이러한 규모의 연구를 실행 가능하게 하는 개방형 RL 학습 시스템을 제공한다. 출처와 성능이 다른 두 사전 모델, 즉 23.0\%의 UI-TARS-7B-SFT와 52.6\%의 Qwen3-VL-8B에 동일한 RL 알고리즘을 적용한 결과, RL은 두 모델 모두 분포 내에서는 향상시키지만 그 이득은 단계가 올라갈수록 단조롭게 감소함을 발견하였다(+17.5/+11.1/+4.2 및 +10.3/+7.4/+0). 이때 학습 성능은 계속 상승하는 반면 평가 성능은 포화된다. 이러한 감소는 알고리즘에 무관하며 PPO에서도 재현되고, 사전 모델이 강할수록 RL의 기여는 줄어든다. 대상 애플리케이션에서의 퓨샷 적응은 +22.9를 회복하여, 추가적인 RL 학습을 보완하는 수단으로 테스트 시점 적응의 필요성을 시사한다. 벤치마크, 학습 시스템, 레시피, 모델 가중치를 공개한다.
원문 초록
Online reinforcement learning (RL) has advanced mobile GUI agents on AndroidWorld to over 80\% success, but these systems train and evaluate in the same environment, and their training tasks are not released for auditing. How far RL generalizes beyond its training contexts therefore remains unmeasured. We formalize the mobile environment as a Contextual MDP and instantiate a ladder of three progressively distant context shifts as AndroidWorld-Generalization: Unseen Instance, Unseen Template, and Unseen Application, with separation verified manually. In addition, we provide an open RL training system that makes studies at this scale feasible. Applying the identical RL algorithm to two priors of different origin and competence, UI-TARS-7B-SFT at 23.0\% and Qwen3-VL-8B at 52.6\%, we find that RL improves both in distribution but that gains fall monotonically up the ladder (+17.5/+11.1/+4.2 and +10.3/+7.4/+0), with training performance rising throughout while evaluation performance saturates. The decay is algorithm-agnostic, reproduced under PPO, and RL contributes less as the prior strengthens. Few-shot adaptation in the target application recovers +22.9, motivating test-time adaptation as a complement to further RL training. We release the benchmark, training system, recipes, and model weights.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.07432v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.