GAIA: GUI 테스트-타임 스케일링 Critic 모델 학습을 위한 데이터 플라이휠 시스템
GAIA: A Data Flywheel System for Training GUI Test-Time Scaling Critic Models
한국어 초록
비전-언어 대규모 모델(LVLM)이 텍스트 지시를 해석하고, 화면 내용을 이해하며, 작업을 수행하는 GUI 에이전트의 능력을 크게 향상시켰지만, 중요한 과제가 남아 있다. 바로 에이전트 조작의 비가역성으로, 단 하나의 잘못된 행동이 치명적인 궤도 이탈을 유발할 수 있다는 점이다. 이를 해결하기 위해 본 연구는 GUI Action Critic's Data Flywheel System(GAIA)을 제안한다. GAIA는 모델이 반복적인 critic 능력을 갖도록 하는 학습 프레임워크이며, 이 능력은 기본 GUI 에이전트의 테스트-타임 스케일링(TTS) 성능을 개선하는 데 사용된다. 구체적으로, 우리는 먼저 베이스 에이전트의 긍정 및 부정 행동 예시를 사용하여 직관적 Critic 모델(ICM)을 학습한다. 이 critic은 에이전트가 의도한 행동의 즉각적인 정확성을 평가하여 더 높은 성공 확률을 가진 조작을 선택한다. 그다음 초기 critic이 에이전트 행동을 안내하여 정제된 긍정/부정 샘플을 수집하고, 자기 개선 사이클을 시작한다. 증강된 데이터는 변별 능력이 향상된 2라운드 critic을 학습시킨다. 다양한 데이터셋에서 실험을 수행한 결과, 제안된 ICM이 다양한 클로즈드소스 및 오픈소스 모델의 테스트-타임 성능을 개선할 수 있으며, 데이터가 재순환될수록 성능이 점진적으로 향상될 수 있음을 보였다. 코드, 데이터셋 및 동반 데이터시트는 https://github.com/SeerRay-Lab/GAIA 에서 공개될 예정이다.
원문 초록
While Large Vision-Language Models (LVLMs) have significantly advanced GUI agents' capabilities in parsing textual instructions, interpreting screen content, and executing tasks, a critical challenge persists: the irreversibility of agent operations-where a single erroneous action can trigger catastrophic deviations. To address this, we propose the \textbf{G}UI \textbf{A}ction Cr\textbf{i}tic's Dat\textbf{a} Flywheel System (GAIA), a training framework that enables the models to have iterative critic capabilities, which are used to improve the Test-Time Scaling (TTS) of basic GUI agents' performance. Specifically, we train an \textbf{Intuitive Critic Model} (ICM) using positive and negative action examples from a base agent first. This critic evaluates the immediate correctness of the agent's intended actions, thereby selecting operations with higher success probability. Then, the initial critic guides agent actions to collect refined positive/negative samples, initiating the self-improving cycle. The augmented data then trains a second-round critic with enhanced discernment capability. We conduct experiments on various datasets and demonstrate that the proposed ICM can improve the test-time performance of various closed-source and open-source models, and the performance can be gradually improved as the data is recycled. The code, dataset, and accompanying datasheet will be publicly released at https://github.com/SeerRay-Lab/GAIA.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2601.18197v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자신의 상호작용으로 행동을 학습하기: GUI 에이전트를 위한 온-정책 자기 증류
Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents
그래픽 사용자 인터페이스(GUI) 에이전트는 소프트웨어 환경과의 다중 턴 상호작용을 통해 복잡한 사용자 지시를 수행할 수 있으며, 행동을 안내하기 위한 단계별 추론과 작업 관련 정보를 유지하기 위한 장기 기억(long-horizon memory)을 각각 필요로 한다. 최근 온-정책 자기 증류(on-policy self-distillation, OPSD) 방법은 특권(privilege) 조건 자기 교사(self-teacher)로부터의 밀집 토큰 수준 감독 덕분에 GUI 그라운딩이라는 GUI 에이전트의 기초 하위 과제에서 강한 성능을 달성했다. 그러나 기존 OPSD 방법을 다중 턴 GUI 에이전트로 확장하는 것은 자기 교사의 제한된 특권 준수(privilege-following) 능력과 불충분한 특권(privileged) 안내로 인해 어렵다. 본 논문에서는 GUI 그라운딩에서 다중 턴 GUI 상호작용으로 OPSD를 확장하고 2단계 학습 프레임워크를 통해 핵심 한계를 해결하는 GUI-SD의 차기 버전인 GUI-SD-v2를 제안한다. 구체적으로 GUI-SD-v2는 동일한 GUI 상태에서 특권 안내가 있는 롤아웃과 없는 롤아웃을 공동 최적화하여 특권 준수를 먼저 강화한다. 또한 특권 조건 자기 교사를 통해 단계별 추론과 기억 안내를 선택적으로 증류하여 행동 결정과 이후 상호작용을 위한 작업 관련 정보 유지를 지원한다. AndroidWorld와 MobileWorld라는 두 대표적인 GUI 에이전트 벤치마크에 대한 광범위한 실험에서 GUI-SD-v2는 기존 OPSD 기준선과 비교해 우수한 성능을 보이며, 평가한 최신(state-of-the-art) 방법들을 Pass@1 및 Pass@3 성공률 모두에서 일관되게 능가한다. 코드와 학습 데이터는 공개될 예정이다.
행동을 유발하는 가이드: 멀티모달 웹 에이전트의 가이드-행동 상호 강화에 관한 오프라인 연구
Guides That Cause Actions: An Offline Study of Guide-Action Mutual Reinforcement in Multimodal Web Agents
웹 에이전트(Web agent)는 주로 라이브 환경에서 평가되는데, 실행 간에 환경 상태와 판정 모델이 드리프트(drift)하여 동일한 체크포인트가 동일한 점수를 재현하기 어렵기 때문에 학습(training) 현상에 대한 통제된 연구가 사실상 불가능합니다. 본 논문에서는 성공적인 WebArena 궤적에서 파생된 541개 태스크와 5,293개 스텝으로 구성된 오프라인 벤치마크인 WebMRE를 제시합니다. 이 벤치마크는 완전히 검증된 테스트 라벨과 환경 없이도 모든 실행에서 체크포인트를 동일하게 평가하는 결정론적 프로토콜을 갖추고 있습니다. 각 스텝은 인간 지향적인 가이드 문장과 그라운딩된(grounded) 행동을 결합하여, 웹 에이전트에서 이 둘 사이의 상호 강화(mutual reinforcement) 효과에 대한 최초의 연구를 가능하게 합니다. 세 개의 시드에 걸쳐 평균을 냈을 때, 이 효과는 두 모델 모두에서 두 디코딩 순서 모두에 걸쳐 유지되며 스케일링에 따라 증가합니다. 즉, 가이드를 공동 디코딩하면 행동 전용 기준선 대비 요소 선택 점수가 Qwen3.5-4B의 경우 0.9 및 0.2 포인트 상승하고, Qwen3.5-9B의 경우 1.7 및 2.2 포인트 상승합니다. 매개 분석(mediation analysis)에 따르면 가이드는 단순한 설명이 아닌 인과적 경로임이 밝혀졌습니다. 정답 가이드를 디코딩 접두 문맥(prefix)으로 강제하면 행동 정확도가 .422에서 .684로 상승하는 반면, 다른 스텝의 가이드를 주면 .055로 급락하며, 타깃을 변경한 패러프레이즈(paraphrase)도 이득의 절반을 회복하므로 이 경로가 라벨 문자열뿐만 아니라 인스트럭션의 의미를 전달함을 보여줍니다. 동일한 경로를 통해 재생 가능한 프로토콜에서만 계산 가능한 오프라인 보상(reward)이 생성되지만, 강력한 체크포인트로부터 이를 최적화하는 것은 아직 이득을 가져오지 못합니다. 본 연구에서 파인튜닝된 모델은 모든 오프라인 지표에서 제로샷(zero-shot)으로 실행된 GPT-5.5, Claude Opus 4.8 및 Gemini 3.5 Flash를 능가합니다.
AWM-VLA: 효율적이고 설명 가능한 비전-언어-행동 정책을 위한 정렬 세계 모델링
AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies
비전-언어-행동(VLA) 모델은 범용 로봇 조작을 위한 강력한 패러다임이 되었지만, 종종 반응적이다. 정책은 의사결정의 장기적 결과를 추론하지 않고 현재 관측을 행동 청크에 직접 매핑한다. 정책에 세계 모델을 부여하려는 기존 시도는 픽셀 공간에서 미래 프레임을 재구성하는 방식——비용이 크고 과업과 무관한 세부가 지배적——이거나, 세계 모델을 정책과 분리하여 제어를 약화시키는 방식이었다. 우리는 확산-트랜스포머 정책 내부에 정렬된 세계 모델링을 직접 내장하는 통합 프레임워크 AWM-VLA를 제안한다. Future Latent REpresentation Alignment(FLARE) 원칙에 따라, 학습 가능한 미래 토큰을 추가하고 그 중간 활성화를 미래 관측의 비전-언어 임베딩과 정렬하여, 정책이 행동을 생성하면서 장기적 결과를 예측할 수 있게 한다. 이 패러다임을 두 가지로 확장한다. 첫째, 전역 미래 임베딩과 함께 미래 객체 수준 의미를 예측하는 객체 중심 분리 정렬 목표를 도입하여 해석 가능성과 다중 지시 일반화를 모두 개선한다. 둘째, 원칙적인 가중치로 전역·객체 중심 정렬 항과 행동 flow-matching 손실의 균형을 맞춰, 제어 가능한 정확도–해석 가능성 트레이드오프를 얻는다. RoboCasa 및 휴머노이드 탁상 조작 벤치마크에서 AWM-VLA는 성공률 기준으로 기존 VLA 및 세계 모델 베이스라인을 최대 21% 능가하고, 새로운 객체와 지시에 대한 일반화를 개선하며, 인간 평가자가 83%의 경우에서 선호하는 객체 중심 근거를 생성한다. 본 접근은 정책에 학습 가능한 토큰 소수만 추가하며 임의의 확산이나 flow-matching 정책과 호환되어, 정렬된 세계 모델링을 범용 조작의 저비용·광범위 적용 가능한 구성요소로 만든다.
SmoLSTM: 지속되는 순환 메모리를 갖춘 소형 비전-언어-행동 모델
SmoLSTM: A Compact Vision-Language-Action Model with Recurrent Memory that Persists
비전-언어-행동(Vision-Language-Action, VLA) 모델은 현재의 관측만을 바탕으로 행동을 예측하는 경우가 많아, 에피소드 이력이 없으면 객체 가림(occlusion)이나 시각적으로 동일한 객체가 포함된 작업에서 모호함이 발생할 수 있습니다. 관측 윈도우를 넓히는 일반적인 대응책은 시계(horizon)를 하이퍼파라미터로 만들며 이에 따라 스텝당 비용이 증가하게 합니다. 본 연구에서는 대신 순환 상태(recurrent state)에 에피소드를 포착합니다. SmoLSTM은 동결된 256M 매개변수의 SmolVLM 백본을 행렬-메모리 LSTM 제어 층과 결합하며, 이 제어 층에서는 전체 에피소드 동안 전혀 리셋되지 않는 단일 인과적 스트림(causal stream) 내에 관측 토큰과 행동 쿼리가 통합됩니다. 따라서 순환 상태의 저장은 에피소드 길이에 대해 O(1) 복잡도를 가집니다. 흐름 정합(flow-matching) 행동 헤드는 각 제어 스텝에서 10개의 말단 장치(end-effector) 포즈 변화량과 그리퍼 명령 청크를 예측합니다. 140개 작업에 걸친 7,461개의 시연 데이터로 공동 학습되고 미확인 초기 상태에서 평가된 본 연구의 단일 정책은 0.04B의 학습 가능한 매개변수만으로 LIBERO-Mem에서 85.1%의 서브골 도달률과 77.5%의 전체 작업 성공률을 기록하며 최고의 성능을 달성하여, 벤치마크 자체의 객체 중심 기준선과 최근의 메모리 기반 접근법을 모두 능가했습니다. 매 제어 스텝마다 순환 상태를 리셋하면 전체 작업 성공률이 7.0%로 감소하여, 학습된 정책이 의사결정 간에 전달되는 문맥에 의존함을 보여줍니다. 동일한 모델이 표준 LIBERO에서도 평균 79.6%의 성공률을 달성합니다.
StenoVLA-3D: 위장관 협착 통과를 위한 3D 인식 추론 VLA
StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses
자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.
시각적 상태 전이를 통한 GUI 에이전트 스케일링
Scaling GUI Agents with Visual State Transitions
본 연구는 GUI 에이전트를 위한 새로운 스케일링 축으로 State Transition Pretraining(STP)을 제안한다. STP 단계에서는 역역학(inverse dynamics, 상태 변화로부터 행동 예측)과 순방향 역학(forward dynamics, 현재 상태와 행동으로부터 다음 상태 예측)을 공동 최적화하여 시각적 상태 전이에 대해 통합 멀티모달 모델을 지속적으로 사전학습한다. 이 최적화를 통해 모델은 더 나은 행동 그라운딩(action-grounded) 시각 표현과 GUI 역학에 대한 내부 세계 모델(internal world model)을 갖추게 된다. 이후 작업 지시가 포함된 궤적에 미세조정하면, STP로 학습된 모델은 데스크톱 및 모바일 GUI 시나리오(AgentNetBench, AndroidControl, GUIOdyssey)의 에이전트 벤치마크 전반에서 궤적 직접 미세조정만으로 학습된 베이스라인을 일관되게 능가한다. 추가 실험 연구는 공동 역학 최적화가 단일 목표 학습 대비 안정적인 개선을 제공하며, 하류 성능이 전이 데이터 양에 따라 꾸준히 스케일링됨을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.