PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11388v1cs.AI

StructAgent: 통합 인과 구조로 장기 수평 디지털 에이전트 활용

StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure

대규모 언어 모델(LLM)과 비전-언어 모델(VLM)의 최근 발전으로 컴퓨터 사용을 위한 디지털 에이전트의 능력이 점점 향상되고 있다. 그러나 실세계 태스크는 흔히 장기 수평(long-horizon)으로 진행되며, 누적된 관찰, 중간 수정, 실패한 시도, 부분적으로 완료된 실행 등이 포함된 변화하는 컨텍스트를 수반한다. 기존 에이전트는 대개 원시 상호작용 기록을 그대로 처리하기 때문에 태스크 진행 상황을 해석하고 검증하며 복구하기 어려워, 결과적으로 신뢰할 수 있는 장기 수평 실행이 제한된다. 본 논문에서는 이 문제를 해결하기 위해 에이전트의 상태와 워크플로우 모두를 태스크 진행 상황의 통합된 인과 표현을 중심으로 명시적으로 구조화하는 것이 필요하다고 주장한다. 우리는 상태 중심 프레임워크인 StructAgent를 제시한다. StructAgent는 간결하고 검증 가능한 태스크 진행 상황을 유지하는 통합 상태와, 검증기(verifier) 기반 상태 전이를 통해 진행 상황을 규율하는 구조화된 워크플로우를 도입한다. 이 설계를 바탕으로 StructAgent는 명시적인 진행 상황 체크포인팅, 증거 기반 태스크 완료 판단, 목표 지향적 실패 복구, 도구 지원 실행을 추가로 가능하게 하며, 모든 진행 상황 업데이트가 검증에 근거하도록 보장한다. 광범위한 실험 결과, StructAgent는 다양한 LLM 및 VLM 백본에서 장기 수평 컴퓨터 사용 태스크의 성능을 일관되게 향상시키는 것으로 나타났다. OSWorld-Verified에서 Qwen3.5-9B의 성공률을 27.0%에서 46.9%로, Qwen3.5-27B를 31.6%에서 62.2%로 향상시켰으며, MiniMax-M3로는 78.9%라는 새로운 오픈소스 최고 성능(state of the art)을 달성하였다. 나아가 동일한 프레임워크가 데스크톱 환경을 넘어 Minecraft에도 일반화됨을 보여, 본 설계의 범용성을 입증하였다.

arXiv:2606.28480v1cs.SE

TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.