소형 MLLM 기반 멀티모달 웹 에이전트의 약한 작업 계획과 웹사이트 간 일반화 한계를 해결하기 위해, 환경을 자율 탐험하고 회고적 경험으로 정렬된 고수준 학습 데이터를 합성하는 PEEU(Planning Experience Exploration and Utilization)를 제안한다. 실제 벤치마크에서 Qwen2.5-VL-7B 기반 모델이 30.6% 정확도로 더 큰 Qwen2.5-VL-32B를 능가했으며, TDHAF 분석은 저수준 원자 기술 숙달만으로는 고수준 계획 역량이 보장되지 않고 고수준 작업 학습이 분포 외(OOD) 일반화에 더 효과적임을 보였다.
PhoneBuddy는 실제 앱 환경과 GUI 사용 구조로 재구성한 mock 앱 환경 PhoneWorld를 결합해, 두 환경의 궤적로 지도 미세조정(SFT) 후 real-app RL과 mixed RL을 적용하는 에이전트형 스마트폰 사용 오픈 모델 학습 레시피를 제안한다. 실제 스마트폰 150개 과제 평가에서 과제 성공률이 SFT 36.67%에서 real-app RL 40.67%, mixed RL 45.33%로 오르고 AndroidWorld에서는 60.3%에서 83.2%까지 향상되어, mock 앱 학습이 real-app RL을 대체하지 않고 확장 가능한 보완 신호를 제공함을 보인다.
비전-언어 모델 기반 GUI 에이전트는 디지털 작업 자동화에 강한 잠재력을 보이지만, 단계별 검증의 부재로 인해 장기적(long-horizon) 시나리오에서 자주 실패한다. 기존 프로세스 보상 모델은 텍스트 추론만으로 행동을 검증하여 GUI 상태 변화의 시각적 특성을 놓친다. 우리는 VisCritic을 소개한다. 이는 행동 전후 스크린샷을 시각적 특징 공간에서 직접 비교함으로써 에이전트의 행동을 검증하는 시각적 프로세스 보상 프레임워크이다. VisCritic은 시아메즈 비전 트랜스포머를 활용하여 변화 인식 표현을 추출하고, 행동 성공 여부, 작업 진행도, 오류 유형을 함께 평가하는 행동 인식 크리틱 헤드(Action-Aware Critic Head)와 결합한다. 크리틱 학습 데이터 구성 파이프라인은 크리틱 학습을 위한 추가적인 인간 레이블 없이 기존 궤적으로부터 약지도(weakly supervised) 샘플을 생성한다. 다섯 가지 벤치마크에 걸친 실험 및 오프라인 분석은 VisCritic이 다양한 GUI 에이전트를 위한 플러그앤플레이 방식의 향상 기능으로서, 벤치마크 지표를 전반적으로 개선하면서 시각적 진단 단서를 제공함을 보여준다.
Computer-Use Agents (CUAs) execute high-level user goals by perceiving and acting directly within graphical user interfaces. However, reinforcement learning for CUAs remains difficult because open-ended desktop environments rarely provide scalable, machine-readable reward signals: task success is often visually grounded and hard to specify with handcrafted reward functions or dense manual labels. We propose an RL fine-tuning framework that uses autonomous vision-language evaluation as a scalable supervision signal for GUI agents. Given a final screenshot and the original instruction, a Vision-Language Model judges task completion and provides terminal feedback without task-specific heuristics or manual labels during policy optimization. Because autonomous evaluators are imperfect, we model their feedback as a noisy binary reward channel and derive a noise-corrected reward estimator for Proximal Policy Optimization. Experiments across macOSWorld, Windows Agent Arena, and OSWorld show that corrected evaluator rewards outperform both zero-shot baselines and raw evaluator rewards, improving success rates by an average of 12.6 percentage points over zero-shot performance and 5.1 points over raw evaluator fine-tuning. These results suggest that autonomous evaluation can serve as a practical reward signal for RL in GUI environments when evaluator noise is explicitly modeled and corrected.
멀티모달 에이전트가 인터페이스 이해에서 실제 소프트웨어 제어로 확장됨에 따라, 라이브 데스크톱 환경에서 성공적인 궤적 발견이 핵심 과제가 되었다. GUI 작업은 정밀한 마우스 및 키보드 동작의 장기 시퀀스를 요구하며, VM 롤아웃을 통한 피드백은 희소하고 지연되며 획득 비용이 크다. 우리는 정책 최적화 이전에 환경을 활용해 검증된 감독을 구성하는 학습 시점 검색-필터 파이프라인인 Environment-Native Verified Search(ENVS)를 제안한다. ENVS는 라이브 OSWorld VM에서 행동적으로 구별되는 GUI 동작을 분기하고, 성공한 리프를 검증한 뒤, 전역적으로 균형 잡힌 단계 수준 감독으로 학습한다. 실제적인 데스크톱 중단 상황에서의 견고성을 평가하기 위해, 원래 작업을 유지하면서 에이전트가 라이브 교란 하에 재집중, 닫기, 대기 또는 복구할 수 있는지 검증하는 복구 가능한 데스크톱 중단용 동적 벤치마크 OSWorld-Noisy도 도입한다. 300개 작업 OSWorld 풀에서 ENVS는 원래 평가에서 pass@8 30.3, OSWorld-Noisy에서 29.0을 기록하여, 동등 조건의 ARPO 스타일 온라인 강화학습(RL)을 능가하면서 연산량을 184–192 GPU-hours에서 138–153 GPU-hours로 줄였다. 검색 데이터의 30%만 사용해도 ENVS는 pass@8 27.0에 도달하여 기본 모델의 ARPO를 넘선다. 노이즈 환경에서의 학습은 OSWorld-G Refusal(16.7 vs. 1.9) 및 BLINK Functional Correspondence(26.2 vs. 23.1) 등 보조 벤치마크에서 시각적 추론 능력도 더 잘 보존한다.
GUI 에이전트의 행동 복제 학습은 전문가 궤적 밖 정책 유발 궤적 이탈 상태에 감독이 없어 실패가 누적되는 문제를 남깁니다. 스킬 유도 연속 증류(SGCD)는 기본 정책으로 현실적인 이탈 상태를 만들고 스킬 유도 정책의 성공 연속을 전문가 궤적과 혼합해 감독을 보강하는 반복 자기 개선 프레임워크로, OSWorld-Verified에서 세 기본 모델의 성공률을 30%대 초반에서 50% 이상으로 높였습니다.
컴퓨터 사용 에이전트는 화면을 통해 실제 소프트웨어를 클릭하고 입력하며 구동하지만, 모든 작업을 처음부터 해결한다. 작업을 반복하라는 요청을 받으면 에이전트는 화면을 다시 읽고, 매 탭을 다시 추론하며, 전체 비용을 다시 지불한다. 우리는 에이전트가 이전에 수행했던 작업에서 더 빨라질 수 있게 하는 PreAct를 제시한다. 첫 번째 성공 시 PreAct는 실행을 작은 상태 기계 프로그램으로 컴파일한다—화면을 확인하는 상태와 행동하는 전이—이후 실행에서는 에이전트를 호출하는 대신 이를 직접 재생하여 8.5-13배 더 빠르게 동작하며, 단계별 언어 모델 호출이 없다. 재생은 맹목적이지 않다. 각 단계에서 PreAct는 행동하기 전에 화면이 프로그램이 기대하는 것과 일치하는지 확인하고, 무언가 어긋나는 순간 즉시 에이전트에게 제어권을 넘긴다. PreAct는 무엇을 보관할지 결정할 때도 동일한 원칙을 적용한다. 새로 컴파일된 프로그램은 깨끗한 상태에서 다시 실행했을 때 독립 평가자가 작업을 해결했음을 확인한 경우에만 저장소에 들어간다—마지막 단계까지 재생되지만 작업을 완료하지 못한 프로그램을 걸러낸다. 모바일, 데스크톱, 웹 벤치마크 전반에 걸쳐 이 저장 시점 검증은 반복 실행이 개선되는 경우와 결함 있는 프로그램이 누적되며 성능이 저하되는 경우를 구분하며, 벤치마크당 1.75-2.6개 작업 분량의 이점을 내며 세 벤치마크 모두에서 동일한 방향을 보인다. 맞는 프로그램이 없을 때 처음부터 탐색하는 폴백은 PreAct를 강력한 기록-및-재생 기준선과 동등한 수준으로 만든다. 또한 중요하지 않았던 요소도 보고한다. 프롬프트 문구, 런타임 가드레일, 그리고 어떤 프로그램을 재사용할지 언어 모델이 선택하는지 아니면 단순 임베딩 검색기가 선택하는지 여부이다.
다양한 모바일 UI 설계에서 작동을 정확히 유추하는 기존 비전-언어 모델(VLM)의 한계를 극복하기 위해, 데모 비디오에서 키프레임을 추출하여 단계별 조작 지식(operational knowledge)으로 변환하는 Teach VLM을 제안합니다. 생성된 지식을 하위 에이전트의 절차적 참조 자료로 활용하는 Teach-and-Repeat 패러다임을 통해 작업 성공률을 유의미하게 향상시킵니다.
컴퓨터 사용 에이전트(CUA)는 비전과 제어 기본 요소를 통해 그래픽 사용자 인터페이스(GUI)를 조작하며, 그 역량은 OSWorld와 같이 표준화된 온라인 평가 벤치마크에 힘입어 빠르게 발전해 왔다. 이러한 벤치마크는 평가 도구이자 강화학습을 위한 학습 환경으로 활용된다. 그러나 macOS는 이 분야에서 여전히 소외되어 있다. 유일한 기존 벤치마크인 macOSWorld는 퍼스트파티 애플리케이션의 제한적인 범위와 단순한 태스크만을 다루며, Apple Silicon과 호환되지 않는 x86 가상 머신 위에서 실행된다. 본 논문에서는 MacArena를 소개한다. MacArena는 50개 애플리케이션에 걸쳐 수동으로 검증된 421개의 태스크로 구성된 벤치마크로, OSWorld 태스크의 선별 포팅, macOSWorld에서 가져온 콘텐츠, 그리고 49개의 새로운 macOS 네이티브 태스크를 결합하며, 모두 Apple Silicon의 네이티브 Virtualization 프레임워크 위에서 실행된다. 우리는 macOS가 Linux 기반 벤치마크에서 포착하는 수준을 넘는 고유한 GUI 과제를 제시한다고 주장하며, 평가 결과가 이를 뒷받침한다. 기존 벤치마크에서의 높은 모델 성능은 진정한 크로스플랫폼 GUI 역량보다 태스크 분포에 대한 익숙함을 반영할 수 있다. 특히, 포팅된 태스크와 macOS 네이티브 태스크 간에 모델 순위가 역전되는 현상이 나타났으며, 선두 모델이 MacArena 하위 집합에서 26% 이상 뒤처지는 결과를 보였다. 이는 macOS가 현재 GUI 에이전트에게 실질적으로 더 어려운 환경임을 시사한다.
강화학습(RL)은 장기 수평(long-horizon)의 확률적 디지털 환경에서 GUI 에이전트를 개선하는 유망한 접근법으로 떠오르고 있으나, 궤적 수준의 성공 피드백은 너무 희소하여 중간 탐험 단계에 대한 신뢰할 수 있는 크레딧 할당을 제공하기 어렵다. 이 문제를 완화하기 위해 최근 연구들은 전역 마일스톤 검증 또는 지역 단계별 평가를 통해 더 세밀한 학습 피드백을 제공하는 프로세스 보상 모델(PRM)을 도입하였다. 그러나 이러한 방법들은 여전히 두 가지 수준별 한계를 지닌다. 전역 마일스톤 분해는 주관적이고 단일하여 실제 GUI 태스크에서 다양한 유효 실행 경로를 수용하기 어려우며, 고정된 지역 판단 윈도우는 장거리 핵심 증거를 놓치거나 무관한 프레임으로 결정 신호를 희석시킬 수 있다. 네트워크 플로우 분석의 스테인 추적 메커니즘에서 영감을 받아, 우리는 GUI 에이전트를 위한 엔티티-스테인-플로우 프로세스 보상 모델인 StainFlow를 제안한다. 전역 분할의 주관성을 줄이기 위해, 시각적으로 검증 가능한 태스크 엔티티를 추출하고 이들의 스테인 농도 및 상태가 궤적을 따라 어떻게 변화하는지 추적하는 전역 엔티티 스테인 추적(Global Entity Stain Tracking) 모듈을 도입한다. 이를 통해 엔티티 증거 플로우의 변화에 따라 태스크 단계를 객관적으로 분리할 수 있다. 지역 검증의 정확도를 높이기 위해, 지역 스테인 증거 연결(Local Stain Evidence Linking) 모듈을 도입한다. 이 모듈은 각 후보 핵심 노드의 트리거 엔티티를 중심으로 스테인 농도와 상태 변화를 기반으로 관련 단계를 검색하고, 진정한 핵심 노드를 검증하기 위한 고밀도 증거 윈도우를 동적으로 구성한다. AndroidWorld 및 OGRBench에서의 광범위한 실험을 통해 StainFlow가 온라인 RL 성공률을 상대적으로 3.2%, 궤적 완료 판단 정확도를 1.8% 향상시킴을 확인하였다.