PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.12481v2cs.AI

ToolCUA: 컴퓨터 사용 에이전트를 위한 최적의 GUI-도구 경로 오케스트레이션을 향하여

ToolCUA: Towards Optimal GUI-Tool Path Orchestration for Computer Use Agents

컴퓨터 사용 에이전트(Computer Use Agent, CUA)는 클릭이나 입력과 같은 원자적(atomic) GUI 행동뿐만 아니라 API 기반 파일 연산과 같은 상위 수준의 도구 호출(tool call)을 통해서도 동작할 수 있으나, 이러한 하이브리드 행동 공간으로 인해 GUI 행동을 계속 이어갈지 아니면 도구로 전환할지에 대한 불확실성이 자주 발생하여 차선의 실행 경로를 초래합니다. 이러한 어려움은 고품질의 인터리브(interleaved) GUI-도구 궤적의 부족, 실제 도구 궤적 수집의 비용 및 취약성, 그리고 GUI-도구 경로 선택에 대한 궤적 수준 지도(supervision)의 부재에서 기인합니다. 본 논문에서는 단계별 학습(training) 패러다임을 통해 최적의 GUI-도구 경로 선택을 학습하도록 설계된 엔드투엔드 에이전트(agent)인 ToolCUA를 제안합니다. 먼저, 풍부한 정적 GUI 궤적의 용도를 재지정하고 그라운딩된 도구 라이브러리를 합성하여 수작업 엔지니어링이나 실제 도구 궤적 수집 없이도 다양한 GUI-도구 궤적을 가능하게 하는 인터리브 GUI-도구 궤적 스케일링 파이프라인을 도입합니다. 그다음 워밍업 SFT와 단일 턴 강화학습(RL)을 결합하여 중요한 GUI-도구 전환 지점에서의 의사결정을 개선하는 Tool-Bootstrapped GUI RFT를 수행합니다. 마지막으로, 적절한 도구 사용과 더 짧은 실행 경로를 장려하는 도구-효율적 경로 보상(reward)의 유도를 받아 고충실도 GUI-도구 환경(environment)에서 온라인 에이전트 RL로 ToolCUA를 최적화합니다. OSWorld-MCP에 대한 실험 결과, ToolCUA는 기준선(baseline) 대비 약 66%의 상대적 향상인 46.85%의 정확도를 달성하여 유사한 규모의 모델 중 새로운 최고 성능(state of the art)을 기록했습니다. 또한 GUI 전용 설정 대비 3.9% 향상되어 효과적인 GUI-도구 오케스트레이션을 입증합니다. 이러한 결과는 하이브리드 행동 공간에서의 학습이 실제 디지털 에이전트를 위한 유망한 패러다임임을 더욱 시사합니다. 오픈소스 공개 위치: https://x-plug.github.io/ToolCUA/

arXiv:2606.21654v2cs.AI

ChainWorld: 원자적 OSWorld 태스크로부터 장기 호라이즌 데스크톱 워크로드 구성

ChainWorld: Composing Long-Horizon Desktop Workloads from Atomic OSWorld Tasks

컴퓨터 사용 에이전트(computer use agent)는 거의 전적으로 원자적 데스크톱 태스크에서 평가되지만, 현실적인 데스크톱 작업은 여러 목표에 걸쳐 상태를 유지해야 한다. 우리는 ChainWorld로 이 격차를 연구한다. ChainWorld는 원본 평가기를 보존하면서 방향성 호환성 탐색(directional compatibility search)을 통해 원자적 OSWorld 태스크를 장기 호라이즌 데스크톱 워크로드로 구성한다. 결과 워크로드는 길이 2~4의 347개 체인을 포함하며, 동일한 태스크 시퀀스의 두 가지 렌더링을 비교한다. 단일 턴(single turn) 평가에서는 모든 태스크가 하나의 프롬프트에 함께 제시된다. 다중 턴(multi turn) 평가에서는 태스크가 한 번에 하나씩 공개된다. 현재 4개의 컴퓨터 사용 에이전트에서 최대 체인 완료율은 31%이다. 다중 턴 평가는 세 모델의 완료율을 향상시키지만, 두 프로토콜 모두 여전히 어렵다. 두 프로토콜은 서로 다른 실패 프로필도 드러낸다. 단일 턴 실패는 산출물 정밀도에 집중되는 반면, 다중 턴 실패는 더 자주 단편화된 진행이나 후반 턴 이탈과 같은 세션 관리(session management) 문제를 반영한다.

arXiv:2606.20785v2cs.AI

Fara-1.5: 컴퓨터 사용 에이전트를 위한 확장 가능한 학습 환경

Fara-1.5: Scalable Learning Environments for Computer Use Agents

인간 시연으로부터 컴퓨터 사용 데이터를 수집하는 것은 비용이 많이 들고 느려, 확장 가능한 생성 전략의 필요성을 야기한다. 이를 위해서는 두 가지 핵심 요소가 필요하다: 에이전트가 행동할 수 있는 환경과 시연이 성공했는지 판단할 수 있는 검증기(verifier)이다. 우리는 환경(environments), 솔버(solvers), 검증기(verifiers)라는 세 가지 모듈형 구성 요소로 이루어진 컴퓨터 사용 에이전트를 위한 확장 가능한 데이터 파이프라인 FaraGen1.5를 제안한다. FaraGen1.5는 실제 웹사이트와 인증으로 보호되거나 되돌릴 수 없는 행동을 요구하는 도메인을 충실히 시뮬레이션하는 합성 환경을 모두 사용한다. 이는 GPT-5.4와 같은 강력한 프론티어 모델을 포함한 여러 모델로 구동할 수 있는 솔버 하네스(solver harness)를 사용하며, 다중 턴 롤아웃(multi-turn rollouts)을 가능하게 하기 위해 사용자 시뮬레이터도 통합한다. 마지막으로 FaraGen1.5는 작업 정확성, 효율성, 중요 지점 준수를 포괄하는 세 가지 상호 보완적 검증기로 결과 궤적(trajectory)을 채점한다. 이 파이프라인이 생성한 데이터를 사용하여, Qwen3.5(4B, 9B, 27B)를 기반으로 세 가지 규모의 네이티브 컴퓨터 사용 에이전트(CUA) 계열인 Fara1.5를 학습한다. 이 모델들을 학습하기 위해, FaraGen1.5의 데이터를 넓은 커버리지, 특정 고가치 작업, 대상 모델의 결함을 반복적 접근 방식으로 신중하게 균형 맞춘 지도 파인튜닝(SFT) 레시피를 사용한다. 각 모델은 브라우저 사용 벤치마크에서 해당 크기 클래스의 새로운 최신 기술(SoTA)을 달성한다: Fara1.5-9B는 Online-Mind2Web에서 63.4%, WebVoyager에서 86.6%를 기록하고, Fara1.5-27B는 Online-Mind2Web에서 72.3%를 달성하여 훨씬 더 큰 독점 시스템과 경쟁력 있는 수준을 보인다. 또한 MIT 라이선스 하에 Fara1.5 모델의 가중치를 공개하여, 폐쇄형 API 전용 시스템을 넘어 최신 수준의 컴퓨터 사용을 모든 이에게 접근 가능하게 한다.

arXiv:2607.11185v1cs.AI

SCALECUA: 검증 가능한 태스크 합성과 효율적인 온라인 강화학습을 통한 컴퓨터 사용 에이전트 스케일링

SCALECUA: Scaling Computer Use Agents with Verifiable Task Synthesis and Efficient Online RL

컴퓨터 사용 에이전트(CUA)는 시각적 인식과 GUI 실행을 통해 복잡한 디지털 워크플로우를 자동화하는 강력한 인터페이스로 부상하고 있다. 검증 가능한 보상을 활용한 온라인 강화학습(RLVR)은 에이전트의 능력을 확장하는 핵심 방향으로 떠올랐다. 그러나 이 패러다임은 검증 가능한 데이터의 부족과 온라인 강화학습의 비효율성이라는 병목에 직면해 있다. 이러한 장벽을 극복하기 위해 우리는 ScaleCUA를 제안한다. ScaleCUA는 검증 가능한 태스크 합성과 효율적인 학습을 통해 CUA의 온라인 강화학습을 확장하는 통합 프레임워크다. 데이터 측면에서는 반복적인 도커(docker) 상호작용과 멀티 에이전트 피드백 루프를 통해 검증 가능한 강화학습 태스크를 생성하는 엔드-투-엔드 프레임워크인 VeriGen을 설계했다. 공유 도커 상호작용 프로브를 통해 100개 이상의 동시 에이전트 워커로 확장한 이 파이프라인은 24K개 이상의 검증 가능한 태스크와 약 3K개의 고품질 강화학습 태스크를 생성한다. 샘플 효율을 극대화하기 위해 태스크별 역량을 추적하고 현재 학습 프론티어에 롤아웃을 할당하는 Frontier Sampling을 제안한다. 학습 측면에서는 최근 시각적 컨텍스트에 슬라이딩 윈도우를 적용하는 Visual Context Segmentation을 추가로 설계하여 롤아웃과 학습 엔진의 부하를 균형 있게 조절하고, 단계별 분해 방식 대비 2.83배의 학습 속도 향상을 달성한다. 이를 통해 ScaleCUA는 OSWorld에서 68.7%, ScienceBoard에서 54.0%를 달성하여 오픈소스 컴퓨터 사용 에이전트 중 새로운 최고 성능을 확립한다. 코드, 모델, 데이터셋은 https://github.com/THUDM/SCALE-CUA 에서 공개된다.

arXiv:2606.22557v1cs.AI

MacAgentBench: 실제 macOS 데스크톱 환경에서 AI 에이전트 벤치마킹

MacAgentBench: Benchmarking AI Agents on Real-World macOS Desktop

컴퓨터 사용 에이전트(CUAs)는 데스크톱 자동화에서 빠르게 발전했으며, 점점 더 많은 사용자가 Mac Mini에서 OpenClaw와 같은 CUA를 상시 자동화용으로 배포하고 있다. 그러나 macOS용 벤치마크를 포함한 기존 벤치마크는 프레임워크 보강 없이 에이전트를 평가하고 이진 평가에 의존한다. 그 결과, 현대 CUA가 활용하는 프레임워크 역량과 장기 호라izon·다중 애플리케이션 작업에서의 부분적 진행 상황을 모두 포착하지 못한다. 우리는 25개 애플리케이션에 걸쳐 676개 작업으로 구성된 포괄적인 macOS 에이전트 벤치마크인 MacAgentBench를 제시한다. 작업의 거의 60%는 GUI와 CLI 상호작용을 모두 포함한다. 이 벤치마크는 결정론적 규칙 기반 평가를 채택하고, 다중 애플리케이션 작업에 대해 역량 주석이 포함된 세분화된 다중 체크포인트 채점을 도입한다. 3개 프레임워크와 16개 모델에 걸친 실험 결과, OpenClaw 위의 Claude Opus 4.6이라는 최적 구성이 73.7% Pass@1을 달성했으며, 이 우위는 주로 프레임워크 설계보다 스킬 라이브러리에 의해 좌우된다. 세분화된 지표는 Pass@1이 유사한 모델들도 하위 목표 달성률에서 상당한 차이를 보일 수 있음을 추가로 밝힌다. 코드와 데이터는 https://github.com/JetAstra/MacAgentBench 에서 공개로 제공된다.

arXiv:2606.06560v1cs.LG

MacArena: 온라인 macOS 환경에서 컴퓨터 사용 에이전트 벤치마킹

MacArena: Benchmarking Computer Use Agents on an Online macOS Environment

컴퓨터 사용 에이전트(CUA)는 비전과 제어 기본 요소를 통해 그래픽 사용자 인터페이스(GUI)를 조작하며, 그 역량은 OSWorld와 같이 표준화된 온라인 평가 벤치마크에 힘입어 빠르게 발전해 왔다. 이러한 벤치마크는 평가 도구이자 강화학습을 위한 학습 환경으로 활용된다. 그러나 macOS는 이 분야에서 여전히 소외되어 있다. 유일한 기존 벤치마크인 macOSWorld는 퍼스트파티 애플리케이션의 제한적인 범위와 단순한 태스크만을 다루며, Apple Silicon과 호환되지 않는 x86 가상 머신 위에서 실행된다. 본 논문에서는 MacArena를 소개한다. MacArena는 50개 애플리케이션에 걸쳐 수동으로 검증된 421개의 태스크로 구성된 벤치마크로, OSWorld 태스크의 선별 포팅, macOSWorld에서 가져온 콘텐츠, 그리고 49개의 새로운 macOS 네이티브 태스크를 결합하며, 모두 Apple Silicon의 네이티브 Virtualization 프레임워크 위에서 실행된다. 우리는 macOS가 Linux 기반 벤치마크에서 포착하는 수준을 넘는 고유한 GUI 과제를 제시한다고 주장하며, 평가 결과가 이를 뒷받침한다. 기존 벤치마크에서의 높은 모델 성능은 진정한 크로스플랫폼 GUI 역량보다 태스크 분포에 대한 익숙함을 반영할 수 있다. 특히, 포팅된 태스크와 macOS 네이티브 태스크 간에 모델 순위가 역전되는 현상이 나타났으며, 선두 모델이 MacArena 하위 집합에서 26% 이상 뒤처지는 결과를 보였다. 이는 macOS가 현재 GUI 에이전트에게 실질적으로 더 어려운 환경임을 시사한다.