GUI 에이전트(agent)가 소프트웨어 환경이 행동에 반응하고 상태를 유지하며 다단계 워크플로를 지원하는 방식을 학습(training)하려면 고품질 상호작용 궤적이 필요합니다. 그러나 가용한 궤적의 다양성은 기반 환경에서 접근할 수 있는 애플리케이션, 인터페이스 상태 및 워크플로에 의해 제한됩니다. 이러한 범위를 확장하려면 점점 더 다양하고 복잡한 소프트웨어를 배포해야 하지만, 특화된 애플리케이션은 추가적인 설치, 구성 및 런타임 비용을 수반합니다. 본 논문에서는 해당 소프트웨어 환경을 배포하거나 실행하지 않고도 GUI 상호작용 궤적을 합성하기 위해 이미지 생성기의 시각적 사전 지식(visual prior)과 플래너의 태스크 지식을 결합한 데이터 생성 프레임워크인 AutoGUIWorld를 소개합니다. AutoGUIWorld는 운영체제 컨텍스트, 시각적 외형, 인터페이스 상태에 대한 구조화된 명세로부터 초기 GUI 장면을 샘플링하고, 해당 장면에 기반한 태스크를 생성합니다. 그런 다음 플래너가 원자적 행동과 의도된 시각적 결과를 명시하는 동안, 이미지 생성기는 현재 스크린샷을 반복적으로 편집하여 후속 관측값을 생성합니다. 행동 그라운딩(grounding)과 전이 수준의 품질 필터링을 통해 Ubuntu, Windows, macOS 및 Chrome 전반에 걸쳐 공간적으로 주석이 달린 79,266개의 단계 수준 학습 샘플을 확보합니다. AutoGUIWorld 궤적으로 Qwen3.5-35B-A3B를 미세조정(fine-tuning)하면 OSWorld의 평균 태스크 점수가 33.0%에서 40.8%로 향상되고 ScienceBoard의 태스크 성공률이 14.0%에서 32.2%로 향상됩니다. 이러한 결과는 생성된 궤적이 실제 데스크톱 및 과학 태스크에서 GUI 에이전트 성능을 향상시킴을 보여줍니다.
컴퓨터 사용 에이전트(computer use agent)는 거의 전적으로 원자적 데스크톱 태스크에서 평가되지만, 현실적인 데스크톱 작업은 여러 목표에 걸쳐 상태를 유지해야 한다. 우리는 ChainWorld로 이 격차를 연구한다. ChainWorld는 원본 평가기를 보존하면서 방향성 호환성 탐색(directional compatibility search)을 통해 원자적 OSWorld 태스크를 장기 호라이즌 데스크톱 워크로드로 구성한다. 결과 워크로드는 길이 2~4의 347개 체인을 포함하며, 동일한 태스크 시퀀스의 두 가지 렌더링을 비교한다. 단일 턴(single turn) 평가에서는 모든 태스크가 하나의 프롬프트에 함께 제시된다. 다중 턴(multi turn) 평가에서는 태스크가 한 번에 하나씩 공개된다. 현재 4개의 컴퓨터 사용 에이전트에서 최대 체인 완료율은 31%이다. 다중 턴 평가는 세 모델의 완료율을 향상시키지만, 두 프로토콜 모두 여전히 어렵다. 두 프로토콜은 서로 다른 실패 프로필도 드러낸다. 단일 턴 실패는 산출물 정밀도에 집중되는 반면, 다중 턴 실패는 더 자주 단편화된 진행이나 후반 턴 이탈과 같은 세션 관리(session management) 문제를 반영한다.
컴퓨터 사용 에이전트(CUA)는 시각적 인식과 GUI 실행을 통해 복잡한 디지털 워크플로우를 자동화하는 강력한 인터페이스로 부상하고 있다. 검증 가능한 보상을 활용한 온라인 강화학습(RLVR)은 에이전트의 능력을 확장하는 핵심 방향으로 떠올랐다. 그러나 이 패러다임은 검증 가능한 데이터의 부족과 온라인 강화학습의 비효율성이라는 병목에 직면해 있다. 이러한 장벽을 극복하기 위해 우리는 ScaleCUA를 제안한다. ScaleCUA는 검증 가능한 태스크 합성과 효율적인 학습을 통해 CUA의 온라인 강화학습을 확장하는 통합 프레임워크다. 데이터 측면에서는 반복적인 도커(docker) 상호작용과 멀티 에이전트 피드백 루프를 통해 검증 가능한 강화학습 태스크를 생성하는 엔드-투-엔드 프레임워크인 VeriGen을 설계했다. 공유 도커 상호작용 프로브를 통해 100개 이상의 동시 에이전트 워커로 확장한 이 파이프라인은 24K개 이상의 검증 가능한 태스크와 약 3K개의 고품질 강화학습 태스크를 생성한다. 샘플 효율을 극대화하기 위해 태스크별 역량을 추적하고 현재 학습 프론티어에 롤아웃을 할당하는 Frontier Sampling을 제안한다. 학습 측면에서는 최근 시각적 컨텍스트에 슬라이딩 윈도우를 적용하는 Visual Context Segmentation을 추가로 설계하여 롤아웃과 학습 엔진의 부하를 균형 있게 조절하고, 단계별 분해 방식 대비 2.83배의 학습 속도 향상을 달성한다. 이를 통해 ScaleCUA는 OSWorld에서 68.7%, ScienceBoard에서 54.0%를 달성하여 오픈소스 컴퓨터 사용 에이전트 중 새로운 최고 성능을 확립한다. 코드, 모델, 데이터셋은 https://github.com/THUDM/SCALE-CUA 에서 공개된다.
멀티모달 에이전트가 인터페이스 이해에서 실제 소프트웨어 제어로 확장됨에 따라, 라이브 데스크톱 환경에서 성공적인 궤적 발견이 핵심 과제가 되었다. GUI 작업은 정밀한 마우스 및 키보드 동작의 장기 시퀀스를 요구하며, VM 롤아웃을 통한 피드백은 희소하고 지연되며 획득 비용이 크다. 우리는 정책 최적화 이전에 환경을 활용해 검증된 감독을 구성하는 학습 시점 검색-필터 파이프라인인 Environment-Native Verified Search(ENVS)를 제안한다. ENVS는 라이브 OSWorld VM에서 행동적으로 구별되는 GUI 동작을 분기하고, 성공한 리프를 검증한 뒤, 전역적으로 균형 잡힌 단계 수준 감독으로 학습한다. 실제적인 데스크톱 중단 상황에서의 견고성을 평가하기 위해, 원래 작업을 유지하면서 에이전트가 라이브 교란 하에 재집중, 닫기, 대기 또는 복구할 수 있는지 검증하는 복구 가능한 데스크톱 중단용 동적 벤치마크 OSWorld-Noisy도 도입한다. 300개 작업 OSWorld 풀에서 ENVS는 원래 평가에서 pass@8 30.3, OSWorld-Noisy에서 29.0을 기록하여, 동등 조건의 ARPO 스타일 온라인 강화학습(RL)을 능가하면서 연산량을 184–192 GPU-hours에서 138–153 GPU-hours로 줄였다. 검색 데이터의 30%만 사용해도 ENVS는 pass@8 27.0에 도달하여 기본 모델의 ARPO를 넘선다. 노이즈 환경에서의 학습은 OSWorld-G Refusal(16.7 vs. 1.9) 및 BLINK Functional Correspondence(26.2 vs. 23.1) 등 보조 벤치마크에서 시각적 추론 능력도 더 잘 보존한다.
GUI 에이전트의 행동 복제 학습은 전문가 궤적 밖 정책 유발 궤적 이탈 상태에 감독이 없어 실패가 누적되는 문제를 남깁니다. 스킬 유도 연속 증류(SGCD)는 기본 정책으로 현실적인 이탈 상태를 만들고 스킬 유도 정책의 성공 연속을 전문가 궤적과 혼합해 감독을 보강하는 반복 자기 개선 프레임워크로, OSWorld-Verified에서 세 기본 모델의 성공률을 30%대 초반에서 50% 이상으로 높였습니다.
컴퓨터 사용 에이전트(CUAs) -- 스크린샷과 키보드/마우스 동작을 통해 그래픽 데스크톱과 상호작용하는 모델 -- 를 학습하려면 전체 데스크톱 환경에서 수집된 대규모의 다양한 궤적 데이터가 필요합니다. 가장 큰 공개 자원인 AgentNet(22.5K개의 인간 궤적)은 지도 미세조정(SFT)에 사용될 때 네거티브 전이(negative transfer)를 유발합니다: AgentNet에서 UI-TARS 7B의 학습을 계속하면 OSWorld 성공률이 26.3%에서 8-10%로 떨어집니다. 우리는 2,484개의 애플리케이션 조합에서 93K개의 합성 궤적을 증류하여 얻은 3.1M개의 단계 수준 SFT 샘플 데이터셋인 ProCUA-SFT를 제안합니다. 이 데이터셋은 (i) 실제 콘텐츠로 시드된 실제 데스크톱(live desktops)에서 그라운딩된(grounded) 작업을 합성하고 -- SpreadsheetBench의 912개 스프레드시트, Zenodo10K의 약 10K개의 허용 라이선스 프레젠테이션, 다중 애플리케이션 OSWorld 설정 -- (ii) 롤아웃(rollout) 전에 이진 precondition 확인을 통해 각 작업의 수행 가능성을 검증하는 완전 자동화 파이프라인을 통해 생성됩니다. 단일 비전-언어 모델(VLM, Kimi-K2.5)이 목표 생성기(goal generator), precondition 판별자(precondition judge), 궤적 실행기(trajectory executor)로 작동하여 플래너-액터(planner-actor) 능력 격차를 제거합니다. 각 궤적은 추론 시간에 관찰된 컨텍스트 레이아웃(context layout)을 정확하게 재현하는 단계 접두 문맥(step-prefix) 샘플로 확장됩니다. ProCUA-SFT에서 UI-TARS 7B를 1 에포크(epoch) 동안 미세조정(fine-tuning)하면 OSWorld에서 45.0%를 달성하는데, 이는 기본 모델보다 18.7%p 향상된 것이며 AgentNet으로 학습된 모델보다 35% 이상 높은 수치입니다. ProCUA의 일부는 Nemotron 3 Nano Omni 모델의 학습 데이터에 통합되어 컴퓨터 사용 능력에 기여했습니다.