RecreationWorld: 하이브리드 컴퓨터 사용 에이전트를 위한 확장 가능하고 검증 가능한 환경
RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents
한국어 초록
컴퓨터 사용 에이전트(CUA)는 그래픽 상호작용과 코드·명령줄을 통한 소프트웨어 개발이라는 두 갈래로 발전해 왔다. 실제 디지털 작업은 둘 다를 요구하며, 끝에서 끝까지 순차적으로 쌓는 것이 아니라 교차적으로 수행된다. 우리는 인터페이스를 탐색하고, 소프트웨어를 구현하며, 산출물을 실행하고 시각적으로 검증할 시점을 자율적으로 결정하는 하이브리드 CUA를 연구한다. 재현(recreation)을 중심으로 한 5개 플랫폼 프레임워크인 RecreationWorld를 제안한다. 실행 중인 참조(reference)가 주어지면 에이전트는 규정된 워크플로 없이 동작을 파악하고 충실한 구현을 구축해야 한다. RecreationWorld는 Ubuntu, macOS, Windows, Android, Web에서 재현 가능한 환경과, 네이티브 GUI 제어 및 코딩 도구를 갖춘 통합 하네스(harness)를 제공한다. 실행 중인 참조는 숨겨진 행동 테스트의 오라클(oracle) 역할을 하며 실행 기반(execution-grounded) 보상을 제공한다. 고품질 오픈소스 애플리케이션으로 궤적(trajectory) 생성을 확장한다. 이 궤적들로 학습한 모델은 분포 외(out-of-distribution) 코딩 및 하이브리드 컴퓨터 사용 벤치마크 5개에서 향상되며, 렌더링된 출력을 더 자주 검증하여 재현을 넘어선 전이(transfer)의 증거를 제공한다. 보류 평가(held-out evaluation)를 위해 도메인과 플랫폼에 걸친 250개의 다양한 과제로 구성된 RecreationBench를 도입한다. 참조 기반(reference-grounded) 프로그래밍적·시각적 단언(assertion)은 여러 상호작용 깊이에서 행동 조건부(action-conditioned) 결과를 포괄한다. 각 항목은 자동 채점을 위해 suite를 동결하기 전에 참조와 인간 검수자에 의해 검증된다. GPT-6 Astra가 전체 58.1%로 선두이지만, 전체 과제의 2.8%에서만 모든 프로그래밍적 테스트를 통과한다. 에이전트는 상호작용 및 계산된 출력보다 정적 인터페이스 구조를 더 안정적으로 재현하지만, 생성된 애플리케이션은 참조보다 더 작고 단일(monolithic) 구조로 남는다. 벤치마크, 환경, 테스트 suite를 공개한다.
원문 초록
Computer-use agents (CUAs) have advanced along two separate lines: graphical interaction and software development through code and the command line. Real digital work requires both, interleaved rather than stacked end to end. We study hybrid CUAs that autonomously decide when to explore an interface, implement software, and run and visually verify their artifacts. We introduce RecreationWorld, a five-platform framework built around recreation: given a running reference, an agent must discover its behavior and build a faithful implementation with no prescribed workflow. RecreationWorld provides reproducible environments on Ubuntu, macOS, Windows, Android, and Web, plus a unified harness with native GUI control and coding tools. The running reference serves as an oracle for hidden behavioral tests, providing execution-grounded rewards. We scale trajectory generation with high-quality open-source applications. Models trained on these trajectories improve across five out-of-distribution coding and hybrid computer-use benchmarks and more frequently verify their rendered outputs, providing evidence of transfer beyond recreation. For held-out evaluation, we introduce RecreationBench, comprising 250 diverse tasks across domains and platforms. Reference-grounded programmatic and visual assertions cover action-conditioned outcomes at multiple interaction depths; each is validated on the reference and by human reviewers before the suite is frozen for automatic scoring. GPT-6 Astra leads at 58.1% overall, but passes all programmatic tests on just 2.8% of tasks. Agents reproduce static interface structure more reliably than interactions and computed outputs, while generated applications remain smaller and more monolithic than their references. We release the benchmark, environments, and test suites.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22000v2제출 시각 미확인
- arXiv:2609.22000v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.