arXiv:2609.04869v1 cs.AI

상호작용 궤적에서 영구적 스킬로: 컴퓨터 사용 에이전트를 위한 온라인 진화

From Interaction Traces to Persistent Skills: Online Evolution for Computer-Use Agents

Longtao Hu, Xiao Liang, Linchao Zhu

제출 2026-09-04

한국어 초록

컴퓨터 사용 에이전트(agent)는 그래픽 인터페이스에서 점점 더 복잡한 작업을 수행할 수 있지만, 이들의 상호작용 경험은 대개 일시적입니다. 즉, 한 번의 롤아웃(rollout)에서 습득한 절차적 지식이 이후 작업에서 체계적으로 보존, 개선 및 재사용되지 않습니다. 기존의 스킬 라이브러리는 외부 절차적 지식을 제공하지만, 스킬 없이 동작하는 동일한 에이전트 대비 점진적인 가치와 반복적인 상호작용 하에서의 장기적 동역학은 여전히 충분히 규명되지 않았습니다. 본 연구에서는 상호작용 궤적과 평가자 피드백을 재사용 가능한 절차의 영구적이고 버전 관리되는 라이브러리로 변환하는 온라인 스킬 진화 프레임워크를 제시합니다. 각 반복(iteration)은 동결된 라이브러리 스냅샷을 기반으로 실행되며, 증거 기반의 스킬 업데이트는 모델(model) 파라미터를 변경하지 않고도 후속 반복에서 사용할 수 있게 됩니다. 동일한 고정 행동 생성 및 GUI 그라운딩(grounding) 스택, 작업 세트, 반복 범위 하에서 네 가지 OSWorld 애플리케이션 도메인에 걸쳐 전체 진화형 라이브러리 시스템을 동일한 구성의 빈 라이브러리 대조군과 비교합니다. 5회 반복의 빈 라이브러리 웜업(warm-up) 후, 전체 시스템(Full)은 관찰된 4개 도메인 실행 모두에서 5.7~18.6%포인트 범위의 평균 차이와 도메인 의존적인 시간적 안정성을 보이며 더 높은 웜업 후 평균 평가자 점수를 달성합니다. GIMP에서는 출처 인식(provenance-aware) 분석을 통해 원래 작업 경계를 넘나드는 검색과, 반복적으로 승인된 수정이 원래 작업을 복구하지 못하는 개정 변동(revision churn)을 확인했습니다. 이러한 결과는 진화하는 스킬 라이브러리가 고정된 컴퓨터 사용 스택을 개선할 수 있는 감사 가능한 공유 절차적 메모리임을 규명하는 동시에, 그 이점이 조건부이며 반복적인 수정이 복구를 보장하지는 않는다는 점을 보여줍니다. 코드는 https://github.com/LongtaoHu/Skill-Evo4GUI 에서 공개되어 있습니다.

원문 초록

Computer-use agents can execute increasingly complex tasks in graphical interfaces, but their interaction experience is typically transient: procedural knowledge acquired from one rollout is not systematically retained, refined, and reused in later tasks. Existing skill libraries provide external procedural knowledge, yet their incremental value over the same agent operating without skills, as well as their longitudinal dynamics under repeated interaction, remain insufficiently characterized. We present an online skill-evolution framework that converts interaction trajectories and evaluator feedback into a persistent, versioned library of reusable procedures. Each iteration executes against a frozen library snapshot, and evidence-guided skill updates become available in subsequent iterations without changing model parameters. We compare the full evolving-library system with a configuration-matched empty-library control across four OSWorld application domains under the same fixed action-generation and GUI-grounding stack, task sets, and iteration horizons. Following a five-iteration empty-library warm-up, Full attains a higher post-warm-up mean evaluator score in all four observed domain runs, with mean differences ranging from 5.7 to 18.6 percentage points and domain-dependent temporal stability. In GIMP, provenance-aware analysis reveals retrieval across task-of-origin boundaries and revision churn, where repeated accepted edits fail to recover the originating task. These findings characterize evolving skill libraries as auditable, shared procedural memory that can improve a fixed computer-use stack, while showing that their benefits are conditional and repeated revision does not guarantee recovery. Code is released at https://github.com/LongtaoHu/Skill-Evo4GUI.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.04869v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.