PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.31410v1cs.AI

Xiaomi-GUI-0 Technical Report

Graphical user interface (GUI) agents build on vision-language models to complete user tasks end-to-end in real applications through interface actions such as tapping, swiping, text entry, and navigation. However, existing GUI agents are trained and evaluated largely on offline trajectories, simulated environments, and standardized benchmarks. These differ substantially from real applications in interface layout, interaction logic, and abnormal-state distribution, and cannot faithfully characterize execution stability in real-world use, where account states, permission dialogs, payment authentication, and risk control continually reshape the state distribution and open a persistent gap between benchmark scores and real usability. To close this gap, we propose Xiaomi-GUI-0, a native multimodal GUI agent for real mobile environments, trained and evaluated within a real-device closed loop. At its core is a real-device-dominant hybrid infrastructure, where physical devices are the primary execution environment and sandboxes provide auxiliary support, so that data collection, training, rollout, and evaluation share an execution distribution close to real deployment. We construct multi-source training data spanning high-frequency head tasks, high-generalization data for long-tail intents, and capability-enhancement data for reflection and memory, and introduce an error-driven data flywheel that turns failure trajectories into corrected actions, reflective explanations, and recovery demonstrations. The model is trained through a progressive three-stage pipeline of supervised fine-tuning, step-level reinforcement learning, and agentic reinforcement learning. Evaluated on public benchmarks and our in-house RealMobile, Xiaomi-GUI-0 achieves 72.0% success on RealMobile and 78.9% on AndroidWorld, while substantially improving execution stability and abnormal-state recognition in real-world tasks.

arXiv:2606.20622v1cs.AI

Darwin Mobile Agent: 자기 진화를 위한 로드맵

Darwin Mobile Agent: A Roadmap for Self-Evolution

인공지능의 목표는 개방형 환경에서 일반적이고 적응적인 행동이 가능한 에이전트를 만드는 것이다. "Bitter Lesson"에 기초하여, 우리는 이 목표를 향한 가장 효과적인 경로가 인간의 사전 지식(prior)을 체계적으로 제거하고, 에이전트 자체보다 수 orders of magnitude 더 복잡한 "Big World"와의 상호작용을 통해 지능이 자연스럽게 창발하도록 하는 것임을 주장한다. 우리는 이러한 세계의 실용적 대리(proxy)로 모바일 그래픽 사용자 인터페이스(GUI)를 제안하고, 이 영역에서 자율 강화학습의 기반으로 설계된 오픈소스 인프라인 Darwin Mobile Agent를 소개한다. 이 프레임워크는 병렬 클라우드 폰 인스턴스 전반에 걸친 비동기 에이전트-환경 루프를 사용하여 실제 모바일 상호작용에서의 데이터 수집 병목을 해결한다. 또한 자기 진화 에이전트의 세 가지 근본적 기둥—과제 커리큘럼(task curricula), 결과 검증(outcome verification), 메모리 관리(memory management)—에서 인간의 사전 지식을 체계적으로 제거하기 위한 개념적 로드맵을 제안한다. 우리는 Darwin 인프라가 이 로드맵의 첫 단계, 즉 GUI 영역에서의 정책 최적화(policy optimisation)에 필요한 안정성과 확장성을 제공함을 검증한다. 본 연구는 진정으로 자율적이고 자기 진화하는 GUI 에이전트를 향해 나아가는 데 필요한 실용적·이론적 기반을 마련한다.