MacArena: 온라인 macOS 환경에서 컴퓨터 사용 에이전트 벤치마킹
MacArena: Benchmarking Computer Use Agents on an Online macOS Environment
컴퓨터 사용 에이전트(CUA)는 비전과 제어 기본 요소를 통해 그래픽 사용자 인터페이스(GUI)를 조작하며, 그 역량은 OSWorld와 같이 표준화된 온라인 평가 벤치마크에 힘입어 빠르게 발전해 왔다. 이러한 벤치마크는 평가 도구이자 강화학습을 위한 학습 환경으로 활용된다. 그러나 macOS는 이 분야에서 여전히 소외되어 있다. 유일한 기존 벤치마크인 macOSWorld는 퍼스트파티 애플리케이션의 제한적인 범위와 단순한 태스크만을 다루며, Apple Silicon과 호환되지 않는 x86 가상 머신 위에서 실행된다. 본 논문에서는 MacArena를 소개한다. MacArena는 50개 애플리케이션에 걸쳐 수동으로 검증된 421개의 태스크로 구성된 벤치마크로, OSWorld 태스크의 선별 포팅, macOSWorld에서 가져온 콘텐츠, 그리고 49개의 새로운 macOS 네이티브 태스크를 결합하며, 모두 Apple Silicon의 네이티브 Virtualization 프레임워크 위에서 실행된다. 우리는 macOS가 Linux 기반 벤치마크에서 포착하는 수준을 넘는 고유한 GUI 과제를 제시한다고 주장하며, 평가 결과가 이를 뒷받침한다. 기존 벤치마크에서의 높은 모델 성능은 진정한 크로스플랫폼 GUI 역량보다 태스크 분포에 대한 익숙함을 반영할 수 있다. 특히, 포팅된 태스크와 macOS 네이티브 태스크 간에 모델 순위가 역전되는 현상이 나타났으며, 선두 모델이 MacArena 하위 집합에서 26% 이상 뒤처지는 결과를 보였다. 이는 macOS가 현재 GUI 에이전트에게 실질적으로 더 어려운 환경임을 시사한다.