컴퓨터 활용 에이전트는 언제 컴파일해야 하는가? 토큰 효율성을 위한 투자 회수 측정 및 컴파일 결정
When to Compile a Computer-Use Agent? Measuring Payback and Making Compilation Decisions for Token Efficiency
에이전트(agent)가 반복적으로 실행하는 GUI 절차를 프로그램으로 컴파일하면 토큰(token) 비용을 절감할 수 있다. 그러나 투자 회수를 측정하고 컴파일 시점을 결정하는 데에는 두 가지 어려움이 존재한다. 첫째, 컴파일 시도가 수정을 필요로 할 수 있고 여전히 사용 가능한 프로그램을 생성하지 못할 수도 있어 컴파일 비용이 불확실하다. 둘째, 태스크 유입이 중단되거나 GUI 변경(GUI drift)으로 인해 프로그램 작동이 멈출 수 있어 향후 재사용 여부를 알 수 없다. 이러한 문제를 해결하기 위해, 본 논문에서는 측정 프로토콜과 온라인 컴파일 알고리즘을 갖춘 시스템인 PACE(Payback-Aware Compilation from Experience)를 제안한다. 측정 프로토콜은 성공 및 실패한 컴파일 비용을 기록하고, 매칭된 태스크 입력에 대해 에이전트와 프로그램의 실행 비용을 비교하여 1회 사용당 절감액과 투자 회수 횟수를 추정한다. 이러한 측정을 바탕으로 온라인 알고리즘은 과거 태스크 유입 및 컴파일 결과를 기반으로 실패한 시도를 포함한 컴파일 비용과 추정된 미래 절감액을 비교한다. 또한 관측된 태스크 유입에 따라 결정되는 누적 예산과 실행 및 컴파일 비용을 대조하여 두 작업 중 어느 것을 허용할지 검토한다. 명시된 작업 비용 가정 하에서, 각 유입 후 총비용은 모든 태스크를 에이전트로 실행하는 비용의 최대 1+ε배이다. 성공적인 컴파일 시도의 경우 소스 에이전트 실행을 제외한 추정 투자 회수 횟수는 2~16회 사용이다. 기록된 태스크 유입을 사용한 시뮬레이션에서 PACE는 ε=0.25일 때 평균적으로 ReAct 대비 17.3%, AutoRPA 적용 버전 대비 24.9%, ToolPro 적용 버전 대비 17.3%의 토큰 비용을 절감한다.