멀티 에이전트는 전자 화면의 꿈을 꾸는가? 과제 분해를 통한 AndroidWorld 100% 달성
Do Multi-Agents Dream of Electric Screens? Achieving 100% on AndroidWorld Through Task Decomposition
한국어 초록
본 논문에서는 안드로이드 UI 제어를 위한 멀티 에이전트 시스템인 Minitap의 mobile-use를 제시하고, Minitap 클라우드 기기 인프라의 안드로이드 에뮬레이터, 자체 기기 팜의 실제 Pixel 7 휴대폰, 그리고 기본 에뮬레이터에서 AndroidWorld의 116개 과제로 평가한다. 개발 중 사용된 적 없는 새로운 보류 과제 인스턴스(사전 등록된 세 개의 시드)에서 최종 시스템은 pass@3 100.0%(95% CI 96.8-100.0)에 도달하며, pass^3은 94.0%(95% CI 89.7-97.4), 평균 성공률은 98.0%(95% CI 96.0-99.7)이다. Minitap은 각 과제를 다섯 개의 LLM 에이전트(계획, 하위 목표 추적, 상태 캡처, 의사결정, 실행)와 결정론적 노드로 분해하며, 기기에서 입력된 텍스트를 다시 읽어 오고, 기기 증거로 목표를 검증하며, 반복되는 실패를 탐지하는 메커니즘을 갖추고 있다. 초기 시스템에 대한 연구는 각 구성 요소의 기여를 측정한다. 분해만 제거하면 성공률이 -26.1 [-35.6, -16.7]포인트 변하고, 메커니즘들을 합치면 단일 에이전트 대비 +11.7 [+2.2, +21.1]포인트가 추가되며, 의사결정 에이전트는 최첨단 모델이 필요한 유일한 역할이다. 이후 일반적인 변경을 통해 신뢰성을 개선하였으며, 그중 일부는 목표 문구에 의해 촉발된다. 개발 중 사용된 적 없는 두 번째 벤치마크인 MobileMiniWoB++에서 최종 시스템은 초기 시스템보다 7.1포인트 향상된다(McNemar p = 0.035; 95% CI -0.5 ~ +14.7). Minitap은 오픈 소스이다: https://github.com/minitap-ai/mobile-use
원문 초록
We present Minitap's mobile-use, a multi-agent system for Android UI control, and evaluate it on the 116 tasks of AndroidWorld, on Android emulators in Minitap's cloud device infrastructure, real Pixel 7 phones from our device farm and the stock emulator. On fresh, held-out task instances (three pre-registered seeds never used during development), the final system reaches a pass@3 of 100.0% (95% CI 96.8-100.0); pass^3 is 94.0% (95% CI 89.7-97.4) and the mean success rate 98.0% (95% CI 96.0-99.7). Minitap decomposes each task across five LLM agents (planning, subgoal tracking, state capture, decision, execution) and deterministic nodes, with mechanisms that read typed text back from the device, verify the goal on device evidence and detect repeated failures. A study of the initial system measures what each part contributes: removing only the decomposition changes success by -26.1 [-35.6, -16.7] points, the mechanisms together add +11.7 [+2.2, +21.1] points over a single agent, and the decision agent is the one role that needs a frontier model. We then improve reliability with general changes, a few of them triggered by the goal's wording. On MobileMiniWoB++, a second benchmark never used during development, the final system improves on the initial one by 7.1 points (McNemar p = 0.035; 95% CI -0.5 to +14.7). Minitap is open source: https://github.com/minitap-ai/mobile-use
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.07787v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.