월드 모델은 체화된 에이전트(embodied agent)의 작업 성능을 향상하는 데 큰 유용성을 보여주었습니다. 이전 연구는 주로 픽셀 공간 월드 모델에 초점을 맞추었으나, 이러한 접근 방식은 미래 상태의 복잡한 시각적 요소를 예측하기 어려운 경우가 많은 GUI 환경에서 실질적인 한계에 직면합니다. 본 연구에서는 원시 픽셀을 예측하는 대신 상태 전이를 자연어로 기술하는, GUI 에이전트를 위한 대안적인 월드 모델링 방식을 탐구합니다. 먼저, 비전-언어 모델(VLM)이 모바일 GUI 에이전트를 위한 월드 모델로 기능하는 능력을 평가하는 벤치마크인 MobileWorldBench를 소개합니다. 둘째로, VLM의 월드 모델링 역량을 크게 향상하는 140만 개 샘플로 구성된 대규모 데이터셋 MobileWorld를 공개합니다. 마지막으로, VLM 월드 모델을 모바일 에이전트의 계획 프레임워크에 통합하는 새로운 프레임워크를 제안하여, 의미론적(semantic) 월드 모델이 작업 성공률을 높임으로써 모바일 에이전트에 직접적인 이점을 줄 수 있음을 입증합니다. 코드와 데이터셋은 https://github.com/jacklishufan/MobileWorld 에서 확인할 수 있습니다.
파운데이션 모델로 구동되는 모바일 에이전트는 이제 실제 기기에서 복잡한 다단계 워크플로를 자동화하지만, 그 궤적(trajectory)은 앱별 보안 정책을 위반할 수 있다. 기존 궤적 수준 방어는 LLM 프롬프팅이나 경직된 규칙에 의존하므로, 앱과 태스크 전반에 일반화되는 세밀한 자연어 정책을 지원하지 못한다. 본 연구에서는 MATE를 제안한다. 이는 경량의 정책 조건부(policy-conditioned) 감사기로, 에이전트 궤적과 자연어 보안 정책을 모두 인코딩하여 궤적이 주어진 정책을 위반하는지와 그 이유를 판단한다. 정책을 고정된 모델 파라미터가 아닌 편집 가능한 텍스트로 다루면 MATE는 재학습 없이 사용자 정의 및 변화하는 요구사항을 처리할 수 있다. MATE 구축을 위해 전 세계 수백 개의 인기 모바일 앱에서 앱 설명, 워크플로, 정책을 추출해 지식 베이스를 만들고, 다단계 파이프라인으로 14만 개 이상의 의미적으로 현실적인 정책 조건 궤적을 합성한다. 또한 합성 서브셋 두 개와 수동 수집 실세계 궤적 서브셋 하나로 구성된 궤적 수준 감사 벤치마크 MATEBench를 공개한다. 합성 주도 궤적 학습으로 학습한 모델은 MATEBench에서 95% 이상 정확도를 달성하고, 외부 안전성(safety) 벤치마크에서도 강한 성능을 유지하며, 실제 기기에서 Zhipu의 AutoGLM과 Alibaba의 Mobile-Agent 궤적을 95% 이상 정확도로 감사해 기존 방법 대비 20% 이상 우수하다. MATE는 이종(heterogeneous) 모바일 에이전트를 위한 실용적이고 세밀한 보안 감사가 실현 가능하고 효과적임을 보여준다.
PhoneBuddy는 실제 앱 환경과 GUI 사용 구조로 재구성한 mock 앱 환경 PhoneWorld를 결합해, 두 환경의 궤적로 지도 미세조정(SFT) 후 real-app RL과 mixed RL을 적용하는 에이전트형 스마트폰 사용 오픈 모델 학습 레시피를 제안한다. 실제 스마트폰 150개 과제 평가에서 과제 성공률이 SFT 36.67%에서 real-app RL 40.67%, mixed RL 45.33%로 오르고 AndroidWorld에서는 60.3%에서 83.2%까지 향상되어, mock 앱 학습이 real-app RL을 대체하지 않고 확장 가능한 보완 신호를 제공함을 보인다.
최근 모바일 에이전트의 발전은 에이전트가 UI 정보를 인식하고 화면 상호작용을 수행하는 GUI 패러다임에 의해 주도되고 있습니다. 그러나 모바일 플랫폼은 기기 서비스와 데이터에 직접 접근을 제공하는 명령줄 인터페이스(CLI)도 지원합니다. 우리는 CLI가 GUI와 더불어 동등한 수준의 고려 대상이 되어야 한다고 주장합니다. 우리는 모바일 전용 사후 학습 없이 AndroidWorld와 MobileWorld에서 네 가지 모델 API에 걸쳐 세 가지 코딩 에이전트(Claude Code, Terminus-2, mini-swe-agent)를 평가하고, 세 가지 재현 가능한 GUI 기준선(GUI-Owl-1.5-32B, MAI-UI, Qwen3-VL-32B)과 비교했습니다. Claude Code (Opus 4.7)는 71.8%와 51.9%를 달성하여 모든 재현 가능한 GUI 기준선(AndroidWorld에서 69.3/68.1/57.8%; MobileWorld에서 43.2/26.3/13.3%)을 앞섰으며, 다른 모든 CLI 설정 또한 경쟁력을 유지했습니다. 이 패러다임의 성능 상한을 파악하기 위해, 우리는 AndroidWorld에서 88.8%(103/116개 작업 CLI 해결 가능)와 MobileWorld에서 86.3%(101/117개 작업 CLI 해결 가능)에 도달하는 오라클(oracle) CLI 솔루션을 제공했으며, 이는 향후 개선을 위한 상당한 여지가 있음을 시사합니다. GUI 범위를 벗어난 일상적인 사용자 의도를 포괄하기 위해, 우리는 대량 작업, 다중 조건 필터링, 집계, 앱 간 워크플로우, 숨겨진 기기 상태 등 다섯 가지 범주에 걸쳐 45개의 템플릿으로 구성된 CLI-Advantage Task Suite를 소개합니다. 모든 CLI 에이전트는 다섯 가지 범주 모두에서 모든 GUI 기준선을 능가했으며, 작업당 단계 수도 훨씬 적었습니다(10.7 vs. 18.6). 모바일 CLI 에이전트에 대한 향후 연구를 지원하기 위해, 우리는 에이전트 구현체, 오라클 솔루션, CLI-Advantage 스위트, 평가 인프라를 오픈 소스로 공개할 예정입니다.