LLM 최적화 루프는 흔히 프로포저(proposer)에게 이미 시도하고 거부한 후보들을 보여주지만, 이를 피하는 것은 프로포저 자신에게 맡긴다. 우리는 정적 프로브(probe)에서 측정된 회피가 옵티마이저(optimizer) 자신의 궤적이 만들어내는 상태에서의 회피를 예측하는지를 묻는다. 세 개의 오픈 LLM이 40개의 편집(edit) 중 하나를 지정하여 GUI 에이전트를 개선하는 카탈로그 기반 루프에서, 재제안(re-proposal)은 편집의 이름으로 정확하게 식별된다. 깨끗한 기본 상태 프로브는 프로포저 자신의 루프에서 나타나는 재제안을 과소 예측하며(매크로 평균 루프-마이너스-프로브 비율 0.32 [0.27, 0.37]), 이미 평가된 하네스(harness)-편집 쌍의 제안은 유효한 프로포저 반복(iteration)의 28~63%를 차지한다. 두 설정은 서로 다른 편집을 거부한다. 프로브에서 거부된 편집은 대부분 프로포저가 선택하지 않은 것들인 반면, 루프에서 거부된 편집은 프로포저 자신이 이전에 선택한 것들로서 이력(history)이 제거되어도 계속 선호된다. 일반적인 이력은 두 프로포저에서는 재제안을 낮추지만 세 번째 프로포저에서는 오히려 높이며, 실패 증거(failure evidence)의 효과는 모델에 따라 다르다. 거부 상태를 한 문장으로 명시하는 것은 모든 모델에서 재제안을 낮춘다(동일한 ID들의 중립적 목록 대비 -0.16 [-0.22, -0.09]). 정확한 편집 식별자를 가진 카탈로그 기반 루프의 경우, 거부 회피는 루프가 생성하는 거부 집합(rejected set)을 기준으로 측정되어야 한다.
WebUI 코드 생성을 대규모로 평가하는 것은 어렵습니다. 생성 결과물이 컴파일되고 그럴듯해 보일 수 있지만 사용자 상호작용에서는 실패할 수 있으며, 기존 벤치마크는 주로 기능적 정확성을 놓치는 정적 검사(빌드 성공, 스크린샷)와 자유 형식 프롬프트에 크게 의존합니다. 본 논문에서는 일반 WebUI(예: 대시보드, 게임, 대화형 도구)와 3D 대화형 시뮬레이션(예: 입자/은하계 시스템, 물리 역학)의 두 가지 작업군에 걸쳐 WebUI 생성을 위한 구조화된 명세와 조밀하고 실행 가능한 상호작용 테스트를 제공하는 실행 지향적 벤치마크인 WebUIProof를 소개합니다. WebUIProof는 반복적인 계획-행동-관찰(plan-act-observe) 루프를 사용해 헤드리스 브라우저에서 실행 가능한 상호작용 테스트를 구동하는 UI-에이전트(UI-agent) 하네스를 포함합니다. 이는 DOM 요소를 찾고, 행동을 수행하며, 그 결과로 나타나는 UI/DOM 변화를 관찰하고, 지정된 단언문(assertions)을 확인합니다. 8개의 상용 대규모 언어 모델(LLM)에 대해 평가를 진행한 결과, 페이지가 성공적으로 렌더링되더라도 상호작용 기반 요구사항에서 빈번한 실패가 발생함을 관찰했으며, 특히 3D 시뮬레이션 인터페이스에서 이러한 현상이 두드러졌습니다. 마지막으로, UI-에이전트 하네스가 결과 수준의 학습(training) 신호를 제공할 수 있음을 보여줍니다. 실행 가능한 상호작용 테스트에서 파생된 강화학습(RL) 보상으로 소형 모델(예: Qwen2.5 14B 및 MIMO 7B)을 학습시키면 빌드 실패를 줄이면서 기능적 완성도를 향상시킬 수 있습니다.
기존의 그래픽 사용자 인터페이스(GUI) 추론 과제는 특히 UI 이해 측면에서 여전히 까다롭습니다. 기존 방법들은 대개 화면 기반의 직접적인 의사결정에 의존하므로 해석 가능성이 부족하고 UI 요소를 포괄적으로 이해하지 못해 궁극적으로 작업 실패로 이어집니다. UI 이해와 상호작용을 향상하기 위해, 저희는 UI-in-the-Loop(UILoop)라는 혁신적인 GUI 추론 패러다임을 제안합니다. 저희의 접근 방식은 GUI 추론 과제를 순환적인 '화면-UI 요소-행동(Screen-UI elements-Action)' 과정으로 다룹니다. 멀티모달 대규모 언어 모델(MLLM)이 주요 UI 요소의 위치 파악(localization), 의미론적 기능, 실제 사용법을 명시적으로 학습하도록 함으로써, UILoop는 정밀한 요소 발견을 달성하고 해석 가능한 추론을 수행합니다. 나아가, 저희는 세 가지 평가 지표를 바탕으로 UI 요소를 중심으로 하는 더욱 도전적인 UI 이해(UI Comprehension) 과제를 도입합니다. 이에 맞춰 기존 방법들의 UI 요소 숙달도를 종합적으로 평가할 수 있는 2만 6천 개의 샘플로 구성된 벤치마크(UI Comprehension-Bench)를 구축하여 기여합니다. 광범위한 실험을 통해 UILoop가 최고 수준(SOTA)의 UI 이해 성능을 달성하는 동시에 GUI 추론 과제에서도 우수한 결과를 거둠을 입증합니다.
GUI 에이전트(agent)가 소프트웨어 환경이 행동에 반응하고 상태를 유지하며 다단계 워크플로를 지원하는 방식을 학습(training)하려면 고품질 상호작용 궤적이 필요합니다. 그러나 가용한 궤적의 다양성은 기반 환경에서 접근할 수 있는 애플리케이션, 인터페이스 상태 및 워크플로에 의해 제한됩니다. 이러한 범위를 확장하려면 점점 더 다양하고 복잡한 소프트웨어를 배포해야 하지만, 특화된 애플리케이션은 추가적인 설치, 구성 및 런타임 비용을 수반합니다. 본 논문에서는 해당 소프트웨어 환경을 배포하거나 실행하지 않고도 GUI 상호작용 궤적을 합성하기 위해 이미지 생성기의 시각적 사전 지식(visual prior)과 플래너의 태스크 지식을 결합한 데이터 생성 프레임워크인 AutoGUIWorld를 소개합니다. AutoGUIWorld는 운영체제 컨텍스트, 시각적 외형, 인터페이스 상태에 대한 구조화된 명세로부터 초기 GUI 장면을 샘플링하고, 해당 장면에 기반한 태스크를 생성합니다. 그런 다음 플래너가 원자적 행동과 의도된 시각적 결과를 명시하는 동안, 이미지 생성기는 현재 스크린샷을 반복적으로 편집하여 후속 관측값을 생성합니다. 행동 그라운딩(grounding)과 전이 수준의 품질 필터링을 통해 Ubuntu, Windows, macOS 및 Chrome 전반에 걸쳐 공간적으로 주석이 달린 79,266개의 단계 수준 학습 샘플을 확보합니다. AutoGUIWorld 궤적으로 Qwen3.5-35B-A3B를 미세조정(fine-tuning)하면 OSWorld의 평균 태스크 점수가 33.0%에서 40.8%로 향상되고 ScienceBoard의 태스크 성공률이 14.0%에서 32.2%로 향상됩니다. 이러한 결과는 생성된 궤적이 실제 데스크톱 및 과학 태스크에서 GUI 에이전트 성능을 향상시킴을 보여줍니다.
대형 멀티모달 모델이 콘텐츠 이해에서 디지털 환경 조작으로 확장됨에 따라, 모바일 GUI는 디지털 체화 지능(digital embodied intelligence)을 위한 도전적이고 중요한 테스트베드로 부상했다. 모바일 에이전트는 세 가지 상호 결합된 제약 하에서 동작한다: 복잡한 인터페이스에 대한 정밀한 인식, 고품질 상호작용 데이터의 확장 가능한 수집, 그리고 누적되는 실행 오류 하에서의 견고한 장기 의사결정. 이 보고서는 Hy3.0-VL-A3B 기반의 모바일 GUI 에이전트인 HyMobileAgent를 제시한다. Hy3.0-VL-A3B는 네이티브 임의 해상도(any-resolution) 입력, A3B 규모 배포 예산, 확장된 상호작용 이력을 모델링하기 위한 32K 컨텍스트 윈도우(context window)를 갖춘 비전 네이티브 기반 모델이다. 모델 스케일링(scaling)에만 의존하기보다, 모바일 상호작용의 핵심 병목을 해결하기 위해 데이터와 환경 중심의 공동 스케일링 프레임워크를 개발했다. 우리 프레임워크는 모의 인터페이스(mock-interface) 합성, 거부 샘플링, 아이콘 특화 증강을 결합한 GUI 인식 플라이휠; 튜토리얼 동영상을 구조화된 상호작용 데이터로 변환하는 지식 파이프라인; 2000개 이상의 샌드박스(sandbox) 및 실제 기기(real-device) 인스턴스에 배포되고 자동화된 실패 귀인(failure attribution)을 갖춘 백만 규모 액션 데이터 파이프라인; 34개의 모의 애플리케이션과 34000개 이상의 태스크를 제공하는 초기화 가능한(resettable) 학습 환경인 PhoneWorld Mock App Factory; 신뢰할 수 있는 장기 실행을 위한 명시적 데드루프(dead-loop) 탐지를 갖춘 구조화된 Planning-and-Reflection 메커니즘을 통합한다. 또한 중간 학습(mid-training), 지도 미세조정, 태스크 특화 보상 설계를 갖춘 강화학습으로 구성된 점진적 학습 레시피를 소개한다.
신뢰할 수 있는 모델은 올바르게 예측하는 것뿐 아니라, 수용 가능한 근거로 의사결정을 정당화해야 한다. 그러나 기존 지도 학습은 일반적으로 클래스 수준의 레이블만 제공하여, 모델이 의도된 근거가 아닌 지름길 상관관계(shortcut correlations)를 통해 높은 정확도를 달성할 수 있게 한다. 인간 선험(human priors)은 이러한 행동을 제약하는 데 도움이 될 수 있지만, 학습된 표현이 종종 인간의 지각과 어긋나기 때문에 모델을 이러한 선험에 정렬하는 것은 여전히 어렵다. 이 문제를 해결하기 위해, 우리는 귀속(attribution) 기반 인간 선험 정렬 방법을 제안한다. 우리는 인간 선험을 모델이 의존할 것으로 기대되는 입력 영역(예: 바운딩 박스)으로 인코딩하고, 학습 중 모델의 의사결정 근거를 드러내기 위해 매우 충실한 부분집합 선택 기반 귀속 접근법을 활용한다. 귀속 영역이 선험 영역에서 상당히 벗어날 때, 우리는 선험 밖 근거에 대한 의존에 패널티를 부과하여 모델이 귀속을 의도된 영역 쪽으로 이동하도록 유도한다. 이는 인간 선험이 유도한 귀속 제약을 부과하는 학습 목적함수를 통해 달성된다. 우리는 MLLM 기반 GUI 에이전트 모델에서 이미지 분류와 클릭 의사결정 작업 모두에 대해 방법을 검증한다. 기존 분류 및 자기회귀 생성 설정 전반에 걸쳐, 인간 선험 정렬은 과제 정확도를 지속적으로 향상시키는 동시에 모델의 의사결정 합리성도 높인다.
멀티모달 기반 모델과 에이전트 시스템의 최근 발전은 GUI 에이전트를 단일 플랫폼 작업 실행에서 크로스 플랫폼 상호작용으로 나아가게 했다. 그러나 멀티 플랫폼 GUI 에이전트를 구축하는 것은 여전히 어렵다. 한편으로는 고품질의 실행 가능한 크로스 플랫폼 상호작용 궤적이 여전히 부족하며, 기존 데이터는 플랫폼 커버리지가 제한되는 문제를 겪는 경우가 많다. 다른 한편으로는 플랫폼마다 서로 다른 상호작용 관습을 가지고 있어, 공동 또는 지속적 학습 시 행동 패턴 혼합, 플랫폼별 성능 저하, 그리고 치명적 망각(catastrophic forgetting)이 발생하기 쉽다. 이러한 문제를 해결하기 위해, 우리는 고품질 크로스 플랫폼 GUI 상호작용 데이터셋인 Uni-GUI를 구축하고, GUI 에이전트의 지속적 학습에 멀티 교사 온-정책 지식 증류(distillation)를 통합한 최초의 방법인 UI-MOPD를 제안한다. UI-MOPD는 현재 환경에 따라 플랫폼별 교사를 동적으로 선택하고, 플랫폼 조건부 증류를 통해 플랫폼별 행동 사전(behavioral prior)을 공유 정책에 전달함으로써, 기존 플랫폼의 역량을 보존하면서 새로운 플랫폼에 적응할 수 있게 한다. OSWorld와 MobileWorld에서의 실험 결과, UI-MOPD는 각각 38.2%와 12.0%의 태스크 성공률을 달성하여, 크로스 플랫폼 역량 유지와 새로운 플랫폼 적응 간의 균형을 맞추는 데 있어 그 효과를 입증했다. 프로젝트 페이지: https://elispectre.github.io/UI-MOPD/.
VLM 기반 GUI 에이전트의 응답 효율성을 표적으로 삼는 새로운 백도어 공격인 SlowBA를 제안하며, 특정 트리거 패턴에서 과도하게 긴 추론 체인을 유도해 응답 지연을 극대화하는 2단계 보상 수준 백도어 주입(RBI) 전략을 활용한다. 실험 결과, SlowBA는 작업 정확도를 유지하면서도 응답 길이와 지연 시간을 크게 증가시키며, 낮은 포이즈닝 비율과 다양한 방어 환경에서도 공격 효과가 유지됨을 보였다.
InfiniteWeb은 GUI 에이전트 학습을 위한 기능적 웹 환경을 대규모로 자동 생성하는 시스템으로, 통합 명세(unified specification), 태스크 중심 테스트 주도 개발(TCTDD), 디자인 이미지 기반 프론트엔드 생성을 통해 일관성·정확성·다양성 문제를 해결한다. 생성된 환경에서 학습한 GUI 에이전트는 OSWorld에서 +6.9%, Online-Mind2Web에서 +5.7%, MobileWorld에서 +3.9%의 성능 향상을 달성했다.
Graphical user interface (GUI) agents build on vision-language models to complete user tasks end-to-end in real applications through interface actions such as tapping, swiping, text entry, and navigation. However, existing GUI agents are trained and evaluated largely on offline trajectories, simulated environments, and standardized benchmarks. These differ substantially from real applications in interface layout, interaction logic, and abnormal-state distribution, and cannot faithfully characterize execution stability in real-world use, where account states, permission dialogs, payment authentication, and risk control continually reshape the state distribution and open a persistent gap between benchmark scores and real usability. To close this gap, we propose Xiaomi-GUI-0, a native multimodal GUI agent for real mobile environments, trained and evaluated within a real-device closed loop. At its core is a real-device-dominant hybrid infrastructure, where physical devices are the primary execution environment and sandboxes provide auxiliary support, so that data collection, training, rollout, and evaluation share an execution distribution close to real deployment. We construct multi-source training data spanning high-frequency head tasks, high-generalization data for long-tail intents, and capability-enhancement data for reflection and memory, and introduce an error-driven data flywheel that turns failure trajectories into corrected actions, reflective explanations, and recovery demonstrations. The model is trained through a progressive three-stage pipeline of supervised fine-tuning, step-level reinforcement learning, and agentic reinforcement learning. Evaluated on public benchmarks and our in-house RealMobile, Xiaomi-GUI-0 achieves 72.0% success on RealMobile and 78.9% on AndroidWorld, while substantially improving execution stability and abnormal-state recognition in real-world tasks.
Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.
LLM agents are increasingly being used to automate tasks for users within an open GUI environment. They inevitably encounter screens containing user-sensitive information, for which takeover of task execution by the user is highly desirable or even necessary. State-of-the-art LLM-driven agents are usually fine-tuned to complete tasks regardless of the safety implications of their actions. This makes their real-world deployment difficult and adversely affects the reliability. Therefore, it is crucial to identify and categorize user-sensitive states and define user-sensitive queries. This dataset would be to engineers to recognize and request handover to the user in critical scenarios. This short paper develops an explorer agent that systematically explores the query space starting from one demonstrated task to identify queries that, if executed, would lead to user-sensitive states in a GUI environment.
Computer-use agents can execute software tasks through either graphical interfaces or programmatic command interfaces, but existing evaluations confound interaction modality with differences in tasks, initial states, verifiers, and permitted actions. We introduce a matched execution-layer benchmark of 440 desktop tasks across 18 applications and 12 workflow categories, where screen-only GUI agents and skill-mediated CLI agents receive identical goals, states, and final-state verifiers while being restricted to modality-native actions. In this controlled setting, the strongest GUI agent reaches a 59.1% full pass rate, outperforming the strongest original-skill CLI agent at 48.2%; however, verifier-guided skill augmentation raises CLI success to 69.3%, showing that much of the CLI deficit comes from incomplete skill coverage rather than model capability alone. These results suggest that GUI and CLI expose different execution bottlenecks: GUI agents are limited by reliable grounded interaction over long-horizon workflows, whereas CLI agents are limited by the coverage and scalability of their skill interfaces.
인공지능의 목표는 개방형 환경에서 일반적이고 적응적인 행동이 가능한 에이전트를 만드는 것이다. "Bitter Lesson"에 기초하여, 우리는 이 목표를 향한 가장 효과적인 경로가 인간의 사전 지식(prior)을 체계적으로 제거하고, 에이전트 자체보다 수 orders of magnitude 더 복잡한 "Big World"와의 상호작용을 통해 지능이 자연스럽게 창발하도록 하는 것임을 주장한다. 우리는 이러한 세계의 실용적 대리(proxy)로 모바일 그래픽 사용자 인터페이스(GUI)를 제안하고, 이 영역에서 자율 강화학습의 기반으로 설계된 오픈소스 인프라인 Darwin Mobile Agent를 소개한다. 이 프레임워크는 병렬 클라우드 폰 인스턴스 전반에 걸친 비동기 에이전트-환경 루프를 사용하여 실제 모바일 상호작용에서의 데이터 수집 병목을 해결한다. 또한 자기 진화 에이전트의 세 가지 근본적 기둥—과제 커리큘럼(task curricula), 결과 검증(outcome verification), 메모리 관리(memory management)—에서 인간의 사전 지식을 체계적으로 제거하기 위한 개념적 로드맵을 제안한다. 우리는 Darwin 인프라가 이 로드맵의 첫 단계, 즉 GUI 영역에서의 정책 최적화(policy optimisation)에 필요한 안정성과 확장성을 제공함을 검증한다. 본 연구는 진정으로 자율적이고 자기 진화하는 GUI 에이전트를 향해 나아가는 데 필요한 실용적·이론적 기반을 마련한다.
그래픽 사용자 인터페이스(GUI) 그라운딩은 GUI 에이전트를 구축하기 위한 기본적인 과제입니다. 그러나 일반적인 비전-언어 모델(VLM)은 특정 최적화가 부족하여 이 과제에 어려움을 겪습니다. 본 논문에서 우리는 핵심적인 격차를 확인했습니다. VLM은 Pointing Game으로 측정된 성능에서 보여주는 것처럼 상당한 잠재적 그라운딩 능력을 보이지만, 명시적인 좌표를 출력하는 과제에서는 성과가 저조합니다. 이러한 불일치를 해결하고 현재 미세조정(fine-tuning) 방식의 높은 데이터 및 주석 비용을 우회하기 위해, 우리는 세 가지 제로샷(zero-shot) 보조 추론 방법을 제안합니다. 축, 격자 및 레이블이 지정된 교차점과 같은 명시적인 공간적 단서를 입력 이미지의 일부로 제공함으로써, 이러한 방법들은 VLM이 자신의 암묵적인 공간 이해 능력을 더 잘 표현할 수 있게 합니다. 우리는 7개의 오픈 소스 및 독점 VLM에 걸쳐 4개의 GUI 그라운딩 벤치마크에서 이러한 방법들을 평가했습니다. 실험 결과, 보조 추론을 통해 상당한 성능 향상이 있음을 보여줍니다. Mark-Grid Scaffold는 직접 추론(direct inference) 시 11.72%였던 Gemini-3.1-Pro의 성능을 ScreenSpot-v2에서 95.20%로 끌어올렸으며, ScreenSpot에서 최첨단(SOTA) 성능을 달성하고 ScreenSpot-v2 및 UI-I2E-Bench에서 가장 강력한 미세조정된 방법들에 근접하는 성과를 보였습니다. 우리의 코드는 https://github.com/liweim/AuxiliaryReasoning에서 확인할 수 있습니다.
멀티모달 대규모 언어 모델(MLLM)로 구동되는 그래픽 사용자 인터페이스(GUI) 에이전트가 점차 더 많이 배포되고 있으나, 환경 주입 공격(EIAs)에 취약합니다. 그러나 현재의 레드팀 테스팅 방법들은 과도한 계산 비용과 제한된 적응성으로 인해 제약이 있습니다. 아직 해결되지 않은 근본적인 질문이 있습니다: 공격 성공의 병목은 시각적 지각에 있는 것인지, 아니면 의미론적 이해에 있는 것인지 하는 점입니다. 통제된 실험을 통해 우리는 시각적 외관이 아닌 의미론적 기만이 공격 성공을 결정하는 주요 요인임을 관찰했습니다. 이 통찰을 바탕으로, 우리는 의미론적 차원 내에서만 적대적 페이로드를 진화시키는 진화적 프레임워크인 EVA를 소개합니다. EVA는 언어적 취약성 패턴을 발굴하여 이를 일반화 가능한 규칙으로 증류하는 발견-배포(discovery-deployment) 프레임워크를 사용합니다. 5개의 대표적인 피해 에이전트에 대한 실험 결과, EVA는 최대 85%의 공격 성공률을 달성하며 단 1.18~1.71회의 반복(iteration) 내에 무해한 시드를 성공적인 공격으로 진화시킴을 보여줍니다. 이러한 빠른 수렴은 모델의 잠재 표현 내에 조밀한 의미론적 공격 공간이 존재함을 드러내며, 중요한 정렬 역설을 밝혀냅니다. 즉, 정렬 학습에 의해 강화된 지시 따르기 능력은 에이전트가 권위 있고 의미론적으로 기만적인 환경 단서에 본질적으로 취약하게 만듭니다.