PreAct: 반복 작업에서 점점 빨라지는 컴퓨터 사용 에이전트
PreAct: Computer-Using Agents that Get Faster on Repeated Tasks
컴퓨터 사용 에이전트는 화면을 통해 실제 소프트웨어를 클릭하고 입력하며 구동하지만, 모든 작업을 처음부터 해결한다. 작업을 반복하라는 요청을 받으면 에이전트는 화면을 다시 읽고, 매 탭을 다시 추론하며, 전체 비용을 다시 지불한다. 우리는 에이전트가 이전에 수행했던 작업에서 더 빨라질 수 있게 하는 PreAct를 제시한다. 첫 번째 성공 시 PreAct는 실행을 작은 상태 기계 프로그램으로 컴파일한다—화면을 확인하는 상태와 행동하는 전이—이후 실행에서는 에이전트를 호출하는 대신 이를 직접 재생하여 8.5-13배 더 빠르게 동작하며, 단계별 언어 모델 호출이 없다. 재생은 맹목적이지 않다. 각 단계에서 PreAct는 행동하기 전에 화면이 프로그램이 기대하는 것과 일치하는지 확인하고, 무언가 어긋나는 순간 즉시 에이전트에게 제어권을 넘긴다. PreAct는 무엇을 보관할지 결정할 때도 동일한 원칙을 적용한다. 새로 컴파일된 프로그램은 깨끗한 상태에서 다시 실행했을 때 독립 평가자가 작업을 해결했음을 확인한 경우에만 저장소에 들어간다—마지막 단계까지 재생되지만 작업을 완료하지 못한 프로그램을 걸러낸다. 모바일, 데스크톱, 웹 벤치마크 전반에 걸쳐 이 저장 시점 검증은 반복 실행이 개선되는 경우와 결함 있는 프로그램이 누적되며 성능이 저하되는 경우를 구분하며, 벤치마크당 1.75-2.6개 작업 분량의 이점을 내며 세 벤치마크 모두에서 동일한 방향을 보인다. 맞는 프로그램이 없을 때 처음부터 탐색하는 폴백은 PreAct를 강력한 기록-및-재생 기준선과 동등한 수준으로 만든다. 또한 중요하지 않았던 요소도 보고한다. 프롬프트 문구, 런타임 가드레일, 그리고 어떤 프로그램을 재사용할지 언어 모델이 선택하는지 아니면 단순 임베딩 검색기가 선택하는지 여부이다.