PyTorchKR Papers

최신 논문

총 30편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.07505v2cs.AI

LiteGUI: 다중 솔루션 유도 증류 및 이중 수준 강화학습을 통한 경량 GUI 에이전트

LiteGUI: Lightweight GUI Agents via Multi-Solution Guided Distillation and Dual-Level Reinforcement Learning

본 논문에서는 경량 GUI 에이전트를 구축하기 위한 새로운 프레임워크인 LiteGUI를 제시합니다. GUI 상호작용은 복잡한 작업의 장기적(long-horizon) 특성과 다수의 유효한 상호작용 경로의 존재로 인해 경량 GUI 에이전트가 효과적으로 처리하기 어려운 고유한 문제를 제기합니다. 이러한 문제를 해결하기 위해 LiteGUI는 기록된 GUI 상태에서 작동하는 2단계 사후 학습(post-training) 프레임워크를 도입합니다. 첫째, 학생(student) 모델의 온-정책(on-policy) 롤아웃(rollout)은 변경하지 않고 유지하면서, 사람이 검증한 다중 솔루션 액션 어노테이션에서 가장 일치하는 유효한 액션을 선택함으로써 각 GUI 상태에서 학습(training) 시점의 특권적 교사(teacher) 지도를 제공하는 유도형 온-정책 증류(Guided On-Policy Distillation)를 제안합니다. 둘째, 기록된 각 GUI 상태에서 여러 개의 유효한 액션을 고려하면서 액션 수준의 지도와 이력 조건부 상태별 계획 품질 지도를 결합하는 Multi-Solution Dual-Level GRPO를 개발합니다. 이 단계들이 결합되어 학생 모델이 고정된 시연(demonstration) 궤적을 재현할 필요 없이 다단계 GUI 작업을 지원합니다. 나아가 기존 문헌의 공백을 메우기 위해 GUI 에이전트의 학습 및 평가를 지원하는 확장 가능한 데이터 생성 파이프라인과 그에 상응하는 다중 솔루션 데이터셋인 Lite-Dataset을 구축합니다. 여러 GUI 벤치마크에 걸친 광범위한 실험을 통해 LiteGUI가 지도 미세조정(SFT), 온-정책 증류, GRPO를 포함한 기존 학습 패러다임 대비 경량 GUI 에이전트의 성능을 크게 향상시키며, 훨씬 더 큰 모델들과 비교해도 경쟁력 있거나 우수한 성능을 달성함을 입증합니다.

arXiv:2512.14014v2cs.AI

MobileWorldBench: 모바일 에이전트를 위한 의미론적 월드 모델링을 향하여

MobileWorldBench: Towards Semantic World Modeling For Mobile Agents

월드 모델은 체화된 에이전트(embodied agent)의 작업 성능을 향상하는 데 큰 유용성을 보여주었습니다. 이전 연구는 주로 픽셀 공간 월드 모델에 초점을 맞추었으나, 이러한 접근 방식은 미래 상태의 복잡한 시각적 요소를 예측하기 어려운 경우가 많은 GUI 환경에서 실질적인 한계에 직면합니다. 본 연구에서는 원시 픽셀을 예측하는 대신 상태 전이를 자연어로 기술하는, GUI 에이전트를 위한 대안적인 월드 모델링 방식을 탐구합니다. 먼저, 비전-언어 모델(VLM)이 모바일 GUI 에이전트를 위한 월드 모델로 기능하는 능력을 평가하는 벤치마크인 MobileWorldBench를 소개합니다. 둘째로, VLM의 월드 모델링 역량을 크게 향상하는 140만 개 샘플로 구성된 대규모 데이터셋 MobileWorld를 공개합니다. 마지막으로, VLM 월드 모델을 모바일 에이전트의 계획 프레임워크에 통합하는 새로운 프레임워크를 제안하여, 의미론적(semantic) 월드 모델이 작업 성공률을 높임으로써 모바일 에이전트에 직접적인 이점을 줄 수 있음을 입증합니다. 코드와 데이터셋은 https://github.com/jacklishufan/MobileWorld 에서 확인할 수 있습니다.

arXiv:2510.00536v2cs.CL

GUI-KV: 시공간 인식을 갖춘 KV 캐시를 통한 효율적인 GUI 에이전트

GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness

비전-언어(vision-language) 모델을 기반으로 구축된 그래픽 사용자 인터페이스(GUI) 에이전트(agent)는 인간과 컴퓨터 간의 워크플로를 자동화하는 유망한 접근 방식으로 부상했습니다. 그러나 고해상도 스크린샷의 긴 시퀀스를 처리하고 장기적인(long-horizon) 작업을 해결해야 하므로 추론(inference)이 느리고 비용이 많이 들며 메모리 제약이 심해지는 비효율성 문제에 직면해 있습니다. 키-값(KV) 캐싱으로 이를 완화할 수 있지만, 이미지가 많은 컨텍스트에서는 전체 캐시를 저장하는 데 큰 부담이 따릅니다. 기존의 캐시 압축 방법들은 GUI의 공간적 및 시간적 중복성을 고려하지 않기 때문에 최적의 성능을 내지 못합니다. 본 연구에서는 먼저 GUI 에이전트 워크로드의 어텐션(attention) 패턴을 분석하여, 자연 이미지와 달리 모든 트랜스포머(transformer) 층(layer)에 걸쳐 어텐션 희소성(sparsity)이 균일하게 높다는 점을 발견했습니다. 이러한 통찰을 바탕으로 단순한 균일 예산 할당 전략을 고안했으며, 이것이 더 복잡한 층별 가변 방식보다 실증적으로 우수함을 보였습니다. 이를 기반으로 재학습이 필요 없는 GUI 에이전트용 플러그 앤 플레이 KV 캐시 압축 방법인 GUI-KV를 제안합니다. GUI-KV는 두 가지 새로운 기술을 결합합니다: (i) 은닉 상태의 L2 노름으로 어텐션 점수를 보강하여 의미론적으로 중요한 시각적 토큰을 더 잘 보존하는 공간적 현저성(spatial saliency) 안내, 그리고 (ii) 이전 프레임의 키를 현재 프레임의 키 부분공간에 투영하여 중복된 히스토리를 우선적으로 프루닝(pruning)하는 시간적 중복성 스코어링입니다. 표준 GUI 에이전트 벤치마크 및 모델 전반에서 GUI-KV는 경쟁력 있는 KV 압축 기준선(baseline)들을 능가하며, 적당한 예산에서도 전체 캐시 정확도에 밀접하게 근접합니다. 특히 AgentNetBench 벤치마크의 5개 스크린샷 설정에서 GUI-KV는 전체 캐시 기준선 대비 디코딩 FLOPs를 38.9% 줄이는 동시에 단계별 정확도를 4.1% 향상시켰습니다. 이러한 결과는 GUI 고유의 중복성을 활용함으로써 효율적이고 신뢰할 수 있는 에이전트 성능을 달성할 수 있음을 보여줍니다.

arXiv:2605.28258v2cs.SE

지속적 게임 생성을 위한 GUI 에이전트

GUI Agents for Continual Game Generation

게임을 생성하는 것은 실제로 플레이 가능한 게임을 만드는 것과 같지 않습니다. 기존의 코드 생성 접근 방식은 종종 프롬프트(prompt)를 결과물로 직접 변환하므로 상호작용 수준의 결함을 감지하지 못합니다. 본 논문에서는 게임 생성에 플레이어가 필요하다고 주장하며, 그래픽 사용자 인터페이스(GUI) 에이전트(agent)의 두 가지 역할을 연구합니다. 첫째, 8개 장르에 걸친 200개의 브라우저 기반 게임 생성 작업과 각 작업에 매핑된 플레이 중 예상 동작 루브릭을 포함하는 평가 환경(environment)인 PlaytestArena를 소개합니다. 독립적인 GUI 심사위원은 각 빌드를 로드하고 플레이하여 이러한 루브릭을 판정합니다. 둘째, 게임 에이전트와 루브릭을 알지 못하는(rubric-blind) GUI 플레이테스터가 공유 메모리를 통해 반복적으로 게임을 생성, 플레이, 개선하는 Play2Code를 제안합니다. 플레이테스터는 게임플레이 트레이스와 실행 가능한 피드백을 제공하고, 별도의 GPT-5.5 심사위원이 최종 벤치마크 점수를 부여합니다. 3개의 프론티어 백본 전반에서 Play2Code는 66.8%의 루브릭 통과율을 달성하여 단일 패스(single-pass) 및 에이전트 기반 코딩 기준선(baseline)을 각각 37.1점과 14.6점 능가했습니다. 또한 점수는 개선 라운드를 거치며 단조롭게 향상됩니다. 추가 분석에 따르면 GUI 에이전트 피드백은 완전히 기록되고 추적 가능한 반면, 피드백의 우선순위는 모델(model) 백본에 따라 크게 달라집니다. 이러한 결과는 GUI 플레이테스트가 대화형 코드 생성을 위한 평가 및 개선 신호로 확립될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://continual-game-generation.vercel.app/ 에서 확인할 수 있습니다.

arXiv:2610.01787v1cs.AI

모든 경험이 가중치에 속하는 것은 아니다: 자기 개선형 GUI 에이전트를 위한 컴포넌트 라우팅

Not All Experience Belongs in the Weights: Component Routing for Self-Improving GUI Agents

자기 개선형 GUI 에이전트(agent)는 자신이 생성한 궤적을 보관한 후 미세조정(fine-tuning)을 거치거나 프롬프트(prompt)로 검색하여 에이전트에게 다시 전달하지만, 두 목적지를 비교하는 기존 연구들은 서로 일치하지 않는 결과를 보인다. 본 연구에서는 이러한 원인이 경험의 단위에 기인한다고 본다. 즉, 하나의 궤적은 서로 다른 특성을 가진 항목들을 한데 묶기 때문에, 해당 묶음에 대한 결론은 그 구성에 따라 달라진다. 이를 해결하기 위해, (i) 우리는 경험을 로케이터(locator), 절차(procedure), 상태 사실(state fact), 교훈(lesson)으로 분할하고 각 컴포넌트를 컨텍스트 또는 가중치로 보내는 컴포넌트 라우팅을 도입하며, 세 가지 백본 계열, 두 가지 환경, 세 가지 시드에 걸쳐 동일한 항목을 비교했다. 하나의 풀에는 두 목적지가 존재하는데, 로케이터와 교훈은 가중치에서 우세했고, 절차와 상태 사실은 컨텍스트에서 우세했다. (ii) 우리는 어떠한 학습(training)도 진행하기 전에 측정한 두 가지 속성인 재발생성(recurrence)과 상태 조건성(state-conditionality)을 바탕으로 규칙을 적합했다. 이 규칙은 24개 셀 중 24개에서 보류된(held-out) 백본 계열의 목적지를 정확히 찾아냈으며, 두 가지 개입을 통해 컴포넌트를 경계 방향으로 이동시켰고, 규칙 기반 라우팅은 모든 전체 궤적 기준선(baseline)을 능가했을 뿐만 아니라 각 백본의 더 우수한 단일 목적지보다 평균 +3.5점 높은 성능을 달성했다. (iii) 우리는 학습과 생성자-소비자 간 차이가 두 목적지의 가치를 어떻게 변화시키는지 규명했다. 동일한 컴포넌트가 가중치에 기록된 후에는 노트 판독이 감소하며 가장 자주 재발생하는 항목에서 이러한 감소가 가장 컸고, 컨텍스트 이득은 정보 격차에 따라 증가한 반면 가중치 이득은 정책 격차에 따라 감소했다. 코드와 데이터는 공개될 예정이다.

arXiv:2609.40253v2cs.CV

ComputerSD: 컴퓨터 사용 에이전트를 위한 실시간 피드백 기반 온라인 자기 증류

ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents

온라인 학습(online training)은 컴퓨터 사용 에이전트(computer-use agent, CUA)가 실행 가능한 환경과의 상호작용을 통해 성능을 개선할 수 있게 한다. 그러나 기존 방법들은 주로 희소한 결과 보상(sparse outcome reward)에 의존하여 중간 행동에 대한 감독(supervision)을 제공하지 못한다. 온-정책 자기 증류(on-policy self-distillation, OPSD)는 특권적 재점수화(privileged rescoring)를 통해 토큰 수준의 학습 신호를 제공하지만, 이를 CUA 온라인 학습에 직접 적용하면 두 가지 문제가 발생한다: 고정된 가이던스(guidance)가 학생(student) 모델의 현재 상태와 어긋날 수 있다는 점, 그리고 가이던스로 인해 유발된 확률 변화가 단계 수준의 정확성(step-level correctness)과 충돌할 수 있다는 점이다. 본 논문에서는 실행된 GUI 전환으로부터의 실시간 피드백을 정책 학습을 위한 가이던스로 변환하는 CUA용 온라인 자기 증류 방법인 ComputerSD를 소개한다. 미세조정된(fine-tuned) GUI 분석기는 각 행동 이후 가이던스와 단계 수준의 가치 점수(value score)를 생성한다; 가이던스는 특권적 맥락(privileged context)을 제공하고, 점수는 그 결과로 생성되는 OPSD 신호를 조절한다. ComputerSD는 완전히 비동기적인(asynchronous) 학습 프레임워크에서 토큰 수준의 OPSD와 궤적(trajectory) 수준의 GRPO를 공동으로 최적화한다. OSWorld-Verified에서 ComputerSD는 범용 Qwen3-VL-8B-Thinking과 특화된 EvoCUA-8B 백본에서 각각 결과 전용(outcome-only) GRPO보다 1.9%p 및 4.1%p 더 높은 성능을 보인다. 분포 외(out-of-distribution) 환경에서의 평가는 ComputerSD의 일반화 가능성(generalizability)을 추가로 뒷받침한다. 이러한 결과는 CUA를 위한 온라인 자기 증류를 통한 실시간 피드백 학습의 효과를 입증한다.

arXiv:2609.27461v1cs.CV

공간에서는 보이지 않고 시간에서는 보인다: GUI 에이전트를 겨냥한 Motion Vision CAPTCHA

Invisible in Space, Visible in Time: Motion Vision CAPTCHA against GUI Agents

대부분의 기존 시각적 CAPTCHA는 공간적으로 풀 수 있다: 필요한 정보는 정적 외형, 국소 구조, 인터페이스 상태를 통해 드러난다. 이 가정은 강한 시각 지각, 추론, 브라우저 상호작용 능력을 보이는 다중모달 대규모 언어 모델(MLLM)과 그래픽 사용자 인터페이스(GUI) 에이전트의 발전으로 약해진다. 우리는 Motion Vision CAPTCHA(MVCAP)를 제안한다. 이는 계층적 motion 기반 CAPTCHA 프레임워크로, 타깃 의미는 motion으로 정의된 전경 구조로 구현되며 동적으로 변화하는 배경과의 시간적 분리를 통해서만 복원할 수 있다. 이 공통 원칙 위에 MVCAP은 지각적으로 점진적인 세 수준—coherent motion, structural motion, biological motion—으로 구현된다. 이 프레임워크를 평가하기 위해 600개의 라이브 CAPTCHA 인스턴스를 갖춘 브라우저 기반 벤치마크 MVCAP-Bench와, 이에 대응하는 전경만(control) 벤치마크 MVCAP-Bench-FG를 도입한다. 우리는 사람, Browser Use 에이전트, 네이티브 computer use 에이전트, 및 동일 인스턴스에서 파생된 보조 오프라인 VQA 설정을 평가한다. 결과는 상당한 human–agent 격차를 보여준다: 전체 MVCAP-Bench에서 사람의 정확도는 99.6%에 달하는 반면, 최고 GUI 에이전트는 16.8%에 그치며 6지선다 우연 수준에 근접한다. 전경만 control은 핵심 난이도가 답 형식이나 브라우저 상호작용만이 아니라 동적 배경 위장에서 비롯됨을 추가로 보여준다. 이러한 발견은 가늠 가능한 human–agent 지각 격차를 밝히고, MVCAP-Bench를 현재 에이전트의 motion 정의 지각 연구를 위한 벤치마크로 자리매김한다.

arXiv:2609.27307v1cs.AI

자신의 상호작용으로 행동을 학습하기: GUI 에이전트를 위한 온-정책 자기 증류

Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents

그래픽 사용자 인터페이스(GUI) 에이전트는 소프트웨어 환경과의 다중 턴 상호작용을 통해 복잡한 사용자 지시를 수행할 수 있으며, 행동을 안내하기 위한 단계별 추론과 작업 관련 정보를 유지하기 위한 장기 기억(long-horizon memory)을 각각 필요로 한다. 최근 온-정책 자기 증류(on-policy self-distillation, OPSD) 방법은 특권(privilege) 조건 자기 교사(self-teacher)로부터의 밀집 토큰 수준 감독 덕분에 GUI 그라운딩이라는 GUI 에이전트의 기초 하위 과제에서 강한 성능을 달성했다. 그러나 기존 OPSD 방법을 다중 턴 GUI 에이전트로 확장하는 것은 자기 교사의 제한된 특권 준수(privilege-following) 능력과 불충분한 특권(privileged) 안내로 인해 어렵다. 본 논문에서는 GUI 그라운딩에서 다중 턴 GUI 상호작용으로 OPSD를 확장하고 2단계 학습 프레임워크를 통해 핵심 한계를 해결하는 GUI-SD의 차기 버전인 GUI-SD-v2를 제안한다. 구체적으로 GUI-SD-v2는 동일한 GUI 상태에서 특권 안내가 있는 롤아웃과 없는 롤아웃을 공동 최적화하여 특권 준수를 먼저 강화한다. 또한 특권 조건 자기 교사를 통해 단계별 추론과 기억 안내를 선택적으로 증류하여 행동 결정과 이후 상호작용을 위한 작업 관련 정보 유지를 지원한다. AndroidWorld와 MobileWorld라는 두 대표적인 GUI 에이전트 벤치마크에 대한 광범위한 실험에서 GUI-SD-v2는 기존 OPSD 기준선과 비교해 우수한 성능을 보이며, 평가한 최신(state-of-the-art) 방법들을 Pass@1 및 Pass@3 성공률 모두에서 일관되게 능가한다. 코드와 학습 데이터는 공개될 예정이다.

arXiv:2609.24277v1cs.AI

숫자 한 자리는 몇 픽셀의 가치인가? GUI 에이전트 신뢰도 추정을 위한 위치 인식 좌표 엔트로피

How Many Pixels Is a Digit Worth? Place-Aware Coordinate Entropy for GUI Agent Confidence Estimation

GUI 에이전트는 클릭 좌표를 숫자-토큰 시퀀스로 예측하지만, 표준 텍스트 LLM 신뢰도 추정 방법은 올바른 클릭과 잘못된 클릭을 구분하는 순위를 약하게만 형성한다. GUI 전용 대안은 K개 샘플이나 새로운 지도 학습을 사용하지만, 여전히 개선의 여지가 남아 있다. 우리는 이 현상의 일부 원인을 자릿값(place-value) 비대칭으로 추적한다. 바운딩 박스 정확성은 종종 더 높은 자릿수가 더 낮은 자릿수보다 중요하게 만들므로, 균일한 집계는 정확성을 결정하는 신호를 약화시킨다. 해결책은 각 숫자의 섀넌 엔트로피(Shannon entropy)에 자릿값으로 가중치를 두는 것이다. 이를 위치 인식 좌표 엔트로피(Place-Aware Coordinate Entropy, PACE)라고 부른다. ScreenSpot-Pro와 ScreenSpot-v2에서 고정 스케일 에이전트들에 대해, PACE는 단일 순전파에서 모든 주요 비교에서 AUROC과 선택적 정확도(selective accuracy) 모두에서 우수하며, 비용의 일부만으로 K-샘플 베이스라인과 동등하거나 그를 능가한다. PACE는 클릭당 신뢰도 추정치를 제공하여 좌표-토큰 내부 정보를 GUI 에이전트 배포를 위한 실용적인 신뢰도 신호로 전환한다.

arXiv:2609.24094v1cs.HC

WidgetVA: 에이전트형 시각 분석을 위한 위젯 중심 프레임워크 및 벤치마크

WidgetVA: A Widget-Centric Framework and Benchmark for Agentic Visual Analytics

시각 분석(VA)은 상호작용적 시각화를 통해 의미 구성(sensemaking)을 가능하게 하지만, 효과적인 분석을 위해서는 전문가가 고수준 의도를 긴 연속의 인터페이스 조작으로 옮기고 시각적 피드백을 반복적으로 해석해야 하는 경우가 많다. 우리는 최신 비전-언어 모델(VLM)이 인터페이스를 관찰하고, 다단계 탐험을 계획하며, 상호작용을 실행하고, 중간 시각적 피드백에 따라 적응하는 자율 VA 운영자로서 이 역할을 수행할 수 있는지 연구한다. 체계적인 개발과 평가를 지원하기 위해, 우리는 먼저 상호작용형 구성 요소를 필터 및 줌 등의 통합 action API와 선택 요약 등의 perception-query API를 갖춘 구조화된 위젯으로 표준화하는 위젯 중심 에이전트형 VA 프레임워크인 WidgetVA를 제안한다. 이 표준화는 두 가지 시스템 구축 방식을 지원한다: 기존 VA 시스템을 재구축 없이 에이전트가 조작 가능하게 감싸는 방식, 그리고 위젯을 모듈형 building block으로 조합해 새 시스템을 구성하는 방식이다. 에이전트가 매 상호작용을 처음부터 계획하기보다 위젯 간 조율을 돕기 위해, 각 위젯은 재사용 가능한 분석 워크플로를 추가로 패키징하여, 에이전트에게 계획 대상으로 삼을 단순히 호출 가능한 함수들의 집합 이상의 것을 제공한다. 이 프레임워크를 바탕으로, 우리는 에이전트가 다단계 상호작용을 통해 증거를 발견하고 검증 가능한 결과를 산출해야 하는 단일 및 다중 위젯 VA 작업으로 구성된 벤치마크 WidgetVABench를 제시한다. 각 작업은 또한 세분화된 참조 주석을 제공하여, WidgetVABench가 에이전트 성능을 하나의 성공 점수로 축약하기보다 Answer, Reference Trace Similarity, State를 각각 별도로 채점할 수 있게 한다. 다양한 VLM에 걸친 실험은 우리 프레임워크가 에이전트형 VA를 위한 효과적인 토대를 제공함을 보여 주며, 진단 지표는 향후 연구를 위한 지속적인 한계를 드러낸다. WidgetVA 프레임워크와 WidgetVABench는 https://github.com/Hiverwin/widgetva 에 공개되었다.

arXiv:2609.16251v2cs.AI

CADWorld: 장기 호라izon 컴퓨터 지원 설계(CAD)를 위한 컴퓨터 사용(computer-use) 벤치마크

CADWorld: Computer-Use Benchmark for Long-Horizon Computer-Aided Design

컴퓨터 사용 에이전트는 점점 더 현실적인 데스크톱 환경에서 평가되고 있지만, 기존 벤치마크는 출력이 지속 가능하고 구조화된 산출물인 전문 엔지니어링 워크플로를 충분히 다루지 못한다. 기계 컴퓨터 지원 설계(CAD)는 특히 까다로운 설정으로, 에이전트는 장기 상호작용 구간 동안 기하와 제약을 조작하면서 치수, 구성 구조, 하류 엔지니어링 상태가 유효하게 유지되는 네이티브 프로젝트를 만들어 내야 한다. 우리는 FreeCAD에서 장기 호라izon 컴퓨터 사용을 위한 벤치마크인 \textbf{CADWorld}를 제안한다. CADWorld는 스케치, 파트 모델링, 조립, CAM, FEM, 측정, 메시 처리, 기술 도면을 포함한 11개 기계-CAD 워크플로 카테고리에 걸친 200개 과제로 구성된다. 에이전트는 스크린샷과 GUI 동작을 통해 작동하며, 성공 여부는 저장된 FreeCAD 산출물과 보조 출력에 대한 과제별 실행 가능 검사로 판정되며, 기하적 속성, 파라메트릭 구조, 제약, 제조 상태, 시뮬레이션 결과를 포괄한다. 전체 벤치마크에 대해 현재 7개 에이전트를 평가한 결과, 최강 에이전트는 17.5% 성공률을 달성했고, 전문가 기준 통과율 87.0%와 대비된다. 약한 에이전트는 유효한 산출물을 만들기 전에 자주 실패하는 반면, 더 강한 에이전트는 구조적·기하적·구성 과정 요구사항에서 점점 더 실패한다. 따라서 CADWorld는 일반적인 GUI 역량과 지속 가능하고 검증 가능한 엔지니어링 워크플로의 신뢰할 수 있는 실행 사이의 격차를 드러낸다. 프로젝트는 https://cad-world.github.io 에서 접근할 수 있다.

arXiv:2605.12481v2cs.AI

ToolCUA: 컴퓨터 사용 에이전트를 위한 최적의 GUI-도구 경로 오케스트레이션을 향하여

ToolCUA: Towards Optimal GUI-Tool Path Orchestration for Computer Use Agents

컴퓨터 사용 에이전트(Computer Use Agent, CUA)는 클릭이나 입력과 같은 원자적(atomic) GUI 행동뿐만 아니라 API 기반 파일 연산과 같은 상위 수준의 도구 호출(tool call)을 통해서도 동작할 수 있으나, 이러한 하이브리드 행동 공간으로 인해 GUI 행동을 계속 이어갈지 아니면 도구로 전환할지에 대한 불확실성이 자주 발생하여 차선의 실행 경로를 초래합니다. 이러한 어려움은 고품질의 인터리브(interleaved) GUI-도구 궤적의 부족, 실제 도구 궤적 수집의 비용 및 취약성, 그리고 GUI-도구 경로 선택에 대한 궤적 수준 지도(supervision)의 부재에서 기인합니다. 본 논문에서는 단계별 학습(training) 패러다임을 통해 최적의 GUI-도구 경로 선택을 학습하도록 설계된 엔드투엔드 에이전트(agent)인 ToolCUA를 제안합니다. 먼저, 풍부한 정적 GUI 궤적의 용도를 재지정하고 그라운딩된 도구 라이브러리를 합성하여 수작업 엔지니어링이나 실제 도구 궤적 수집 없이도 다양한 GUI-도구 궤적을 가능하게 하는 인터리브 GUI-도구 궤적 스케일링 파이프라인을 도입합니다. 그다음 워밍업 SFT와 단일 턴 강화학습(RL)을 결합하여 중요한 GUI-도구 전환 지점에서의 의사결정을 개선하는 Tool-Bootstrapped GUI RFT를 수행합니다. 마지막으로, 적절한 도구 사용과 더 짧은 실행 경로를 장려하는 도구-효율적 경로 보상(reward)의 유도를 받아 고충실도 GUI-도구 환경(environment)에서 온라인 에이전트 RL로 ToolCUA를 최적화합니다. OSWorld-MCP에 대한 실험 결과, ToolCUA는 기준선(baseline) 대비 약 66%의 상대적 향상인 46.85%의 정확도를 달성하여 유사한 규모의 모델 중 새로운 최고 성능(state of the art)을 기록했습니다. 또한 GUI 전용 설정 대비 3.9% 향상되어 효과적인 GUI-도구 오케스트레이션을 입증합니다. 이러한 결과는 하이브리드 행동 공간에서의 학습이 실제 디지털 에이전트를 위한 유망한 패러다임임을 더욱 시사합니다. 오픈소스 공개 위치: https://x-plug.github.io/ToolCUA/

arXiv:2607.24112v1cs.AI

시각적 상태 전이를 통한 GUI 에이전트 스케일링

Scaling GUI Agents with Visual State Transitions

본 연구는 GUI 에이전트를 위한 새로운 스케일링 축으로 State Transition Pretraining(STP)을 제안한다. STP 단계에서는 역역학(inverse dynamics, 상태 변화로부터 행동 예측)과 순방향 역학(forward dynamics, 현재 상태와 행동으로부터 다음 상태 예측)을 공동 최적화하여 시각적 상태 전이에 대해 통합 멀티모달 모델을 지속적으로 사전학습한다. 이 최적화를 통해 모델은 더 나은 행동 그라운딩(action-grounded) 시각 표현과 GUI 역학에 대한 내부 세계 모델(internal world model)을 갖추게 된다. 이후 작업 지시가 포함된 궤적에 미세조정하면, STP로 학습된 모델은 데스크톱 및 모바일 GUI 시나리오(AgentNetBench, AndroidControl, GUIOdyssey)의 에이전트 벤치마크 전반에서 궤적 직접 미세조정만으로 학습된 베이스라인을 일관되게 능가한다. 추가 실험 연구는 공동 역학 최적화가 단일 목표 학습 대비 안정적인 개선을 제공하며, 하류 성능이 전이 데이터 양에 따라 꾸준히 스케일링됨을 보여준다.

arXiv:2607.23263v1cs.AI

SeekJudge: 컴퓨터 사용 에이전트의 강화학습을 위한 실용적 보상 프레임워크

SeekJudge: A Practical Reward Framework for Reinforcement Learning in Computer-Use Agents

궤적(trajectory)이 실제로 지시를 충족하는지 판단하는 것은, 장기 지평 그래픽 사용자 인터페이스(GUI) 작업에서 컴퓨터 사용 에이전트를 어떻게 측정하고 강화학습(RL)으로 어떻게 학습시키는지를 좌우한다. 이 판단은 오랫동안 규칙 기반 평가에 의존해 왔으며, 이는 인간의 의도와 정렬(alignment)하기 어렵고 앱이 업데이트되거나 온라인 콘텐츠가 변할 때 시효가 지난다. 기존 모델 기반 심판(judge)들은 이러한 문제를 해결하려 시도하지만, 여전히 규칙 기반 평가 대비 성능 격차를 남긴다. 우리는 \textbf{SeekJudge} 프레임워크를 제안한다. 이 프레임워크에서는 Condense, Ground, Seek, Analyze 네 가지 역할 전문화 에이전트가 궤적에 대한 Seek--Analyze 루프를 통해 판정에 이른다. 시드 보정(seed-calibrated) 지식 증류(distillation) 파이프라인이 네 에이전트 모두의 공유 백본으로 작동하는 하나의 특화 $9$B 모델을 학습시킨다. 홀드아웃 RL 테스트 목표에서의 하류 성공률로 측정했을 때, SeekJudge는 온라인 RL에서 네이티브 규칙 기반 감독과 동등하거나 이를 능가하는 최초의 실용적 모델 기반 보상이다. 정확도 외에도 SeekJudge는 단계 수준 판단을 제공하고, 폐쇄형 대규모 모델보다 훨씬 저렴하게 실행되며, 훨씬 더 긴 궤적까지 확장 가능한 작은 호출당 컨텍스트를 유지한다. 또한 RL에서 판정을 가속화하는 보상 서버의 일반적인 아키텍처 개선도 기여한다. 이들을 종합하면 모델 기반 보상을 컴퓨터 사용 에이전트(CUA) 강화학습에서 규칙 기반 감독의 실용적인 드롭인 대체재로 만들 수 있다.

arXiv:2607.22689v1cs.AI

순차적 상호작용을 넘어: GUI 에이전트의 병렬 실행 및 조율 벤치마킹

Beyond Sequential Interaction: Benchmarking Parallel Execution and Coordination for GUI Agents

그래픽 사용자 인터페이스(GUI) 에이전트는 대규모 멀티모달 모델(LMM)로 구동되는 시스템이다. 이들은 화면 상태를 인지하고, 데스크톱과 모바일 기기에서 클릭, 입력, 스크롤과 같은 GUI 동작을 통해 사용자 지시를 실행한다. 그러나 현재 에이전트는 장기 작업에 잘 확장되지 않는다. 각 동작마다 비용이 큰 LMM 추론이 발생하고, 컨텍스트가 커질수록 성능이 저하된다. 인간은 이러한 작업 부하를 협업자들 사이에 분담하여 하위 작업을 병렬로 완료한다. 그러나 GUI 에이전트 간 병렬 조율은 거의 주목받지 못했다. 이 격차를 메우기 위해, 우리는 ParaGUIBench를 제안한다. 우리가 아는 한, 이는 별도의 데스크톱 인스턴스에서 여러 GUI 에이전트의 병렬 실행 및 조율을 위해 설계된 최초의 벤치마크이다. 이는 세 가지 구성 요소로 이루어진다: 공유 파일 시스템을 갖춘 다중 디바이스 Docker 인프라; 여섯 가지 작업 카테고리에 걸친 233개 작업으로 구성된 데이터셋; 단계 감소율 및 토큰 비용을 포함한 효율성 지표를 갖춘 평가 시스템. 또한 GUI 작업을 분해하고 별도의 데스크톱 인스턴스에서 동시에 실행되는 워커(worker)에게 하위 작업을 배분하는 planner-worker 에이전트인 ParaGUI를 제안한다. ParaGUIBench에서 ParaGUI는 46.4%의 성공률을 달성하며, 가장 강력한 순차 기준선(Claude Sonnet 4.6)보다 12.9%p 높은 동시에, 대략 절반의 단계와 절반 미만의 토큰을 사용한다. 이 결과는 분해 가능한 장기 GUI 작업에서 병렬 실행이 성공률과 효율성 모두를 개선할 수 있음을 보여주며, 추가 연구가 가치 있는 방향을 시사한다.

arXiv:2607.15193v1cs.AI

Plover: 계획 중심 상호작용을 통한 GUI 에이전트 조향

Plover: Steering GUI Agents through Plan-Centric Interaction

그래픽 사용자 인터페이스(GUI) 자동화는 동적 레이아웃, 예기치 않은 대화 상자, 변화하는 인터페이스 상태로 인해 자율 에이전트가 사용자 의도에서 벗어날 수 있는 실제 환경에서 여전히 어려운 과제이다. 최근 비전 기반 멀티모달 에이전트는 스크린샷과 자연어 지시에 직접 동작함으로써 유연성을 높였지만, 계획과 적응은 종종 내부에 머물러 사용자가 시스템 동작을 검사하고, 감독하고, 수정하는 능력을 제한한다. 우리는 작업 계획과 재계획을 지속적이고 검사 가능하며 수정 가능한 산출물로 외부화하는 계획 중심의 비전 기반 GUI 자동화 시스템인 Plover를 제안한다. 플래너-실행기 아키텍처를 통해 Plover는 진행 중인 실행에 대한 명시적 감독, 편집 가능한 계획을 통한 국소적 수정, 자연어 가이드, 스크린샷 기반 개입을 지원하며, 수정 과정에서 이전 진행 상황을 보존한다. 6명의 참가자를 대상으로 한 형성적 연구가 상호작용 설계에 반영되었다. 이어서 벤치마크 실패 사례 수정과 시나리오 기반 워크플로 분석을 통해 Plover를 평가하였다. 결과에 따르면, 계획이 가시적으로 유지되고 개입이 국소화될 때 많은 자율 GUI 에이전트 실패는 구조적으로 수정 가능하며, 명시적 재계획이 GUI 자동화를 더 투명하고, 제어 가능하며, 적응력 있게 만드는 데 기여한다.

arXiv:2601.12349v3cs.CR

간격에 주목하라: Android GUI 에이전트를 겨냥한 Action Rebinding 공격

Mind the Gap: Action Rebinding Attacks against Android GUI Agents

대규모 멀티모달 모델 기반 GUI 에이전트는 모바일 플랫폼에서 고권한 연산자로 부상하고 있으며, 애플리케이션 경계를 넘어 화면 콘텐츠를 인지하고 입력을 주입하도록 위임받고 있다. 이러한 에이전트가 복잡한 작업을 자동화하는 것을 목표로 하지만, 우리는 그 설계가 Android의 엄격한 애플리케이션 샌드박싱과 근본적인 충돌을 일으킴을 보여준다. 우리는 애플리케이션 간 Action Rebinding 공격이라는 새로운 공격을 제시하며, 이는 위험 권한이 전혀 없는 악성 애플리케이션이 에이전트의 실행을 탈취하고 공격자를 대신하여 특권 연산을 수행할 수 있게 한다. 우리의 공격은 에이전트의 추론 파이프라인에 내재된 불가피한 관측-행동 간격(observation-action gap)을 악용한다. 악성 앱은 무해한 ``contextual carrier''를 렌더링하여 계획된 행동을 유도한 뒤, 추론 지연 시간 동안 전경(foreground)을 민감한 대상 애플리케이션으로 교체할 수 있다. 에이전트는 전환을 인지하지 못한 채, 특권 컨텍스트에서 해당 행동을 무심코 실행한다. 우리는 에이전트 자체의 작업 복구(task-recovery) 로직을 무기화하여 프로그래밍 가능한 다단계 익스플로잇 루프를 만드는 방식과, 탈취된 상태를 합리화하도록 에이전트의 추론을 조작하는 Intent Alignment Strategy(IAS)를 도입함으로써 이 공격을 더욱 발전시킨다. 우리는 널리 사용되는 6개의 Android GUI 에이전트에서 공격을 평가한다. 결과는 원자적 행동 탈취에서 100% 성공률을 보이며, 공격자가 해당 권한을 전혀 보유하지 않았음에도 무단 파일 삭제, SMS 전송, 앱 제거 등 고영향 익스플로잇을 조율할 수 있음을 보여준다. 더 나아가 악성 애플리케이션은 의도와 능력을 분리하고 특권 API 호출을 포함하지 않기 때문에, 상용 악성코드 스캐너(예: VirusTotal)에서 0% 탐지율을 달성하여 현재 모바일 보안 분석의 중요한 사각지대를 드러낸다. 실험 로그 및 시연 동영상에 접근하려면 [email omitted] 연락하십시오.

arXiv:2607.04334v1cs.AI

GUI 에이전트는 자신의 눈을 믿는가? 픽셀 대 구조에 대한 상태-믿음 의존성 진단

Do GUI Agents Believe Their Eyes? Diagnosing State-Belief Reliance on Pixels versus Structure

멀티모달 GUI 에이전트는 스크린샷의 렌더링된 픽셀과 DOM 또는 접근성 트리와 같은 직렬화된 구조라는 두 가지 중복 채널을 통해 인터페이스를 읽는다. 에이전트는 행동하기 전에 현재 인터페이스 상태에 대한 믿음(belief)을 형성하지만, 기존 벤치마크는 태스크 성공률, 요소 그라운딩, 또는 공격 저항성을 평가할 뿐 그 믿음이 픽셀로부터 도출되는지는 묻지 않는다. 우리는 상태 믿음을 픽셀, 구조, 또는 사전 정보에 귀속시키는 개념인 시각적 상태 의존성(visual state reliance)을 형식화하고, 실제 웹·모바일·데스크톱 310개의 프로브(probe)에 대해 단일 채널 쌍별 개입으로 이를 측정한다. 모든 프로브는 결정론적 강제 선택 방식으로 채점되며, 모델이 생성한 항목이나 모델 판정자는 사용하지 않는다. 핵심 지표는 지각-융합 격차(Perception-Fusion Gap)로, 모델이 올바르게 지각함에도 불구하고 충돌 상황에서 구조 쪽으로 해소하는 프로브의 비율을 나타낸다. 세 개 벤더의 다섯 가지 모델에 걸쳐, 텍스트 상태 믿음은 구조에 의존하는 반면 이미지 전용 정확도는 최대치에 가깝게 유지되며, 지각-융합 격차는 모든 모델에서 양수로 나타난다. 반면 비텍스트 식별 정보는 대체로 픽셀에 묶여 있다. 이러한 대체 현상은 직렬화 텍스트 및 인덱스 기반 행동 채널에 특이적이며, 좌표 기반 행동 에이전트는 대부분 영향을 받지 않는다. 텍스트 충돌에 대해 화이트박스 절제(ablation) 실험은 그 효과가 단일 복사된 구조적 값으로 추적됨을 보여주며, 두 개의 실제 환경에서 해당 충돌은 잘못된 행동과 실제 태스크 실패를 유발한다. 따라서 시각적 상태 의존성은 에이전트 상태 믿음이 시각적으로 그라운딩되어 있는지를 측정 가능하게 진단하는 수단을 제공하며, 이를 통해 드러난 오류는 행동으로 전파된다.

arXiv:2606.29472v1cs.AI

Agent-Computer Observation Interfaces Enable Dynamic Computer Use

SWE-agent established the action interface as an underexplored design axis for software-engineering agents; we make the analogous case for the observation interface in computer-use (CU) agents. Current CU agents, closed and open-source alike, tie observation to action--one screenshot every 3-5 s, no audio--leaving them blind and deaf between screenshots to video, animations, transient UI events, meetings, and spoken instructions. We introduce the Agent-Computer Observation Interface (AOI), a model-agnostic perception layer that decouples continuous, adaptive observation from discrete actions through three gated components: inter-step keyframe capture, volume-gated audio transcription, and CU-model-generated visual narration that persists as text. Each produces almost nothing on static, silent content, reducing to the standard loop without degrading it. On DynaCU-Bench (100 dynamic browser tasks plus a 50-task static control), CU models from 7B to frontier scale gain +17 to +48 pp over their screenshot baselines with zero retraining, turning tasks that are near-impossible from periodic screenshots into largely solved ones. The gap is starkest on audio: on a spoken-content subset AOI agents solve every task, whereas streaming voice models hear accurately but cannot act on what they hear without the scaffold. The decomposition is as informative as the headline gain: keyframe selection turns out not to matter--the value comes from narrating captured frames into persistent text--and the interface is not a fixed bundle, since on a newer model (Gemini 3 Flash) the keyframe stream actively regresses through image-token dilution, so its components must be selected per model rather than shipped as one configuration.

arXiv:2601.18197v2cs.AI

GAIA: GUI 테스트-타임 스케일링 Critic 모델 학습을 위한 데이터 플라이휠 시스템

GAIA: A Data Flywheel System for Training GUI Test-Time Scaling Critic Models

비전-언어 대규모 모델(LVLM)이 텍스트 지시를 해석하고, 화면 내용을 이해하며, 작업을 수행하는 GUI 에이전트의 능력을 크게 향상시켰지만, 중요한 과제가 남아 있다. 바로 에이전트 조작의 비가역성으로, 단 하나의 잘못된 행동이 치명적인 궤도 이탈을 유발할 수 있다는 점이다. 이를 해결하기 위해 본 연구는 GUI Action Critic's Data Flywheel System(GAIA)을 제안한다. GAIA는 모델이 반복적인 critic 능력을 갖도록 하는 학습 프레임워크이며, 이 능력은 기본 GUI 에이전트의 테스트-타임 스케일링(TTS) 성능을 개선하는 데 사용된다. 구체적으로, 우리는 먼저 베이스 에이전트의 긍정 및 부정 행동 예시를 사용하여 직관적 Critic 모델(ICM)을 학습한다. 이 critic은 에이전트가 의도한 행동의 즉각적인 정확성을 평가하여 더 높은 성공 확률을 가진 조작을 선택한다. 그다음 초기 critic이 에이전트 행동을 안내하여 정제된 긍정/부정 샘플을 수집하고, 자기 개선 사이클을 시작한다. 증강된 데이터는 변별 능력이 향상된 2라운드 critic을 학습시킨다. 다양한 데이터셋에서 실험을 수행한 결과, 제안된 ICM이 다양한 클로즈드소스 및 오픈소스 모델의 테스트-타임 성능을 개선할 수 있으며, 데이터가 재순환될수록 성능이 점진적으로 향상될 수 있음을 보였다. 코드, 데이터셋 및 동반 데이터시트는 https://github.com/SeerRay-Lab/GAIA 에서 공개될 예정이다.