AutoGUIWorld: GUI 에이전트를 위한 시각적 월드 모델로서의 이미지 생성기
AutoGUIWorld: Image Generators as Visual World Models for GUI Agent
한국어 초록
GUI 에이전트(agent)가 소프트웨어 환경이 행동에 반응하고 상태를 유지하며 다단계 워크플로를 지원하는 방식을 학습(training)하려면 고품질 상호작용 궤적이 필요합니다. 그러나 가용한 궤적의 다양성은 기반 환경에서 접근할 수 있는 애플리케이션, 인터페이스 상태 및 워크플로에 의해 제한됩니다. 이러한 범위를 확장하려면 점점 더 다양하고 복잡한 소프트웨어를 배포해야 하지만, 특화된 애플리케이션은 추가적인 설치, 구성 및 런타임 비용을 수반합니다. 본 논문에서는 해당 소프트웨어 환경을 배포하거나 실행하지 않고도 GUI 상호작용 궤적을 합성하기 위해 이미지 생성기의 시각적 사전 지식(visual prior)과 플래너의 태스크 지식을 결합한 데이터 생성 프레임워크인 AutoGUIWorld를 소개합니다. AutoGUIWorld는 운영체제 컨텍스트, 시각적 외형, 인터페이스 상태에 대한 구조화된 명세로부터 초기 GUI 장면을 샘플링하고, 해당 장면에 기반한 태스크를 생성합니다. 그런 다음 플래너가 원자적 행동과 의도된 시각적 결과를 명시하는 동안, 이미지 생성기는 현재 스크린샷을 반복적으로 편집하여 후속 관측값을 생성합니다. 행동 그라운딩(grounding)과 전이 수준의 품질 필터링을 통해 Ubuntu, Windows, macOS 및 Chrome 전반에 걸쳐 공간적으로 주석이 달린 79,266개의 단계 수준 학습 샘플을 확보합니다. AutoGUIWorld 궤적으로 Qwen3.5-35B-A3B를 미세조정(fine-tuning)하면 OSWorld의 평균 태스크 점수가 33.0%에서 40.8%로 향상되고 ScienceBoard의 태스크 성공률이 14.0%에서 32.2%로 향상됩니다. 이러한 결과는 생성된 궤적이 실제 데스크톱 및 과학 태스크에서 GUI 에이전트 성능을 향상시킴을 보여줍니다.
원문 초록
GUI agents require high-quality interaction trajectories to learn how software environments respond to actions, maintain state, and support multi-step workflows. However, the diversity of available trajectories is constrained by the applications, interface states, and workflows accessible in the underlying environments. Expanding this coverage requires deploying increasingly diverse and complex software, with specialized applications imposing additional installation, configuration, and runtime costs. We introduce AutoGUIWorld, a data generation framework that combines the visual priors of image generators with the task knowledge of a planner to synthesize GUI interaction trajectories without deploying or running the corresponding software environments. AutoGUIWorld samples initial GUI scenes from structured specifications of operating-system context, visual appearance, and interface state, and generates tasks conditioned on those scenes. A planner then specifies atomic actions and their intended visual consequences, while an image generator iteratively edits the current screenshot to produce subsequent observations. Action grounding and transition-level quality filtering yield 79,266 spatially annotated step-level training samples across Ubuntu, Windows, macOS, and Chrome. Fine-tuning Qwen3.5-35B-A3B on AutoGUIWorld trajectories improves the mean task score on OSWorld from 33.0% to 40.8% and the task success rate on ScienceBoard from 14.0% to 32.2%. These results show that generated trajectories improve GUI-agent performance on real desktop and scientific tasks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ABot-3DWorld 0: 모든 3D 공간을 탐험하는 범용 월드 모델
ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space
우리는 텍스트, 이미지, 비디오 입력을 고품질의 탐험 가능한 3D 세계로 변환하는 범용 멀티모달 3D 월드 모델인 ABot-3DWorld 0을 제안한다. 우리 프레임워크의 핵심은 통합된 공간 생성 기본 단위(SGP, Spatial Generative Primitive)로, 이는 고품질 파노라마와 공간 포인트 클라우드로 구성된 간결한 튜플이며 임의의 3D 공간을 효율적으로 기술한다. 멀티모달 입력은 먼저 이 기본 단위로 변환되고, 3D 일관성을 갖춘 파노라마 비디오 생성기가 계획된 궤적을 따라 기본 단위를 탐험하며, 마지막으로 파노라마 비디오 복원 엔진이 생성된 비디오를 깔끔하고 사실적인 3D Gaussian Splatting(3DGS) 세계로 변환한다. 이 파이프라인은 두 가지 입력 체계를 지원한다: 다시점 이미지 세트나 일반 영상과 같은 풍부한 입력은 관측된 장면을 기하학적으로 엄밀하게 복원하여 SGP로 변환되고, 단일 이미지나 문장은 생성적으로 창의적인 세계로 완성된다. 그 결과, 일반적인 3D 콘텐츠 생성을 위한 진입 장벽이 낮은 단일 엔진이 구현되며, 생성된 세계를 지리적 관심 지점에 연결함으로써 소비자 규모에서 지도 기반 공간 탐험을 가능하게 한다. 실험 결과, ABot-3DWorld 0은 오픈소스 방법들 중 최신 기술 수준을 달성하며, 풍부한 멀티모달 입력 조건에서 Marble보다 높은 장면 충실도를 보인다.
PanoWorld: 실세계 파노라마 생성
PanoWorld: Real-World Panoramic Generation
본 연구에서는 전방향(omnidirectional) 표현의 회전 등변(rotation-equivariant) 속성을 활용하여 파노라마 월드 모델의 장거리 메모리 문제를 해결하고자 한다. 이때 회전은 암묵적인 기하학적 변환으로 처리된다. 이러한 통찰을 바탕으로, 우리는 PanoWorld를 제안한다. PanoWorld는 Dense Panoramic Ray-Conditioning(DPRC)과 Geometry-aware Memory Augmentation(GMA)을 통해 현재 액션 모델링 및 장거리 메모리 모두에서 고정 방향(fixed heading)을 이용해 카메라 궤적을 평행 이동(translation)으로 단순화한다. 이어서, 각 구성 요소를 점진적으로 최적화하는 3단계 학습 파이프라인을 도입한다. 기존 데이터셋이 상대적으로 안정적인 조건에서 구성된 것과 달리, 대규모 공간 변화 및 다양한 조명 조건 하에서의 물리적 일관성을 보다 효과적으로 평가하기 위해 World360을 구축하였다. World360은 파노라마 무인 항공기(UAV)로 수집한 실세계 동영상 클립과 AirSim360으로 생성한 고품질 시뮬레이션 클립으로 구성된 대규모 데이터셋이다. World360에서의 광범위한 실험을 통해 PanoWorld의 효과가 입증되었으며, 대안적 방법들을 큰 마진으로 능가하였다. 모델, 학습 코드, 데이터셋은 공개될 예정이다. 자세한 내용은 프로젝트 페이지(https://lihaoy-ux.github.io/panoworld-page/)에서 확인할 수 있다.
ChartSync: 시각-논리적 연쇄 차트 편집을 위한 벤치마크
ChartSync: A Benchmark for Visuo-Logical Cascading Chart Editing
생성형 이미지 편집 모델은 데이터 수정이 기하학적 동기화를 필요로 하는 구조화된 통계 차트를 처리하는 데 어려움을 겪는다. 우리는 이 과제를 시각-논리적 연쇄 편집(Visuo-Logical Cascading Editing, VLCE)으로 공식화한다. 그러나 기존 방법들은 국소적인 텍스트 대체에 국한되며 의존성을 인식하는 연쇄 업데이트에 어려움을 보인다. 이 능력을 체계적으로 평가하기 위해, 우리는 ChartSync를 소개한다. ChartSync는 정답에 대한 결정론적 시각-논리적 결합을 보장하는 프로그래밍 방식의 렌더링 파이프라인을 통해 구성된 전문가 검증 벤치마크이다. ChartSync는 9개 차트 범주와 4가지 과제 유형에 걸친 870개의 트리플렛으로 구성되며, 연쇄적인 텍스트-기하학 동기화를 특정적으로 테스트하는 235개의 기하학적으로 결합된 VLCE 인스턴스를 포함한다. 우리는 이 인스턴스들을 객관적 시각 지표와 비전-언어 모델 판사 패러다임을 결합한 이중 계층 프레임워크를 통해 평가함으로써, 저수준 충실도와 멀티모달 이해 및 추론을 함께 측정한다. 14개의 이미지 편집 모델과 하나의 코드 매개 파이프라인을 평가한 결과, 미묘한 능력 격차가 드러났다. 대부분의 오픈소스 모델은 기하학적 동기화에서 심각한 성능 저하를 보이는 반면, 두 개의 최전선 독점 모델만이 VLCE 능력의 창발적 징후를 나타냈으며, 이들의 잔여 오류는 주로 의미론적 고립과 배경 손상을 수반한다. 우리의 상세한 오류 분석은 이러한 실패 패러다임을 분해하여 미래 멀티모달 아키텍처를 안내할 핵심 메타 능력을 식별한다. ChartSync 데이터셋과 코드는 https://github.com/kaka-yjk/ChartSyncCodebase에서 공개적으로 배포된다.
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.