MacAgentBench: 실제 macOS 데스크톱 환경에서 AI 에이전트 벤치마킹
MacAgentBench: Benchmarking AI Agents on Real-World macOS Desktop
컴퓨터 사용 에이전트(CUAs)는 데스크톱 자동화에서 빠르게 발전했으며, 점점 더 많은 사용자가 Mac Mini에서 OpenClaw와 같은 CUA를 상시 자동화용으로 배포하고 있다. 그러나 macOS용 벤치마크를 포함한 기존 벤치마크는 프레임워크 보강 없이 에이전트를 평가하고 이진 평가에 의존한다. 그 결과, 현대 CUA가 활용하는 프레임워크 역량과 장기 호라izon·다중 애플리케이션 작업에서의 부분적 진행 상황을 모두 포착하지 못한다. 우리는 25개 애플리케이션에 걸쳐 676개 작업으로 구성된 포괄적인 macOS 에이전트 벤치마크인 MacAgentBench를 제시한다. 작업의 거의 60%는 GUI와 CLI 상호작용을 모두 포함한다. 이 벤치마크는 결정론적 규칙 기반 평가를 채택하고, 다중 애플리케이션 작업에 대해 역량 주석이 포함된 세분화된 다중 체크포인트 채점을 도입한다. 3개 프레임워크와 16개 모델에 걸친 실험 결과, OpenClaw 위의 Claude Opus 4.6이라는 최적 구성이 73.7% Pass@1을 달성했으며, 이 우위는 주로 프레임워크 설계보다 스킬 라이브러리에 의해 좌우된다. 세분화된 지표는 Pass@1이 유사한 모델들도 하위 목표 달성률에서 상당한 차이를 보일 수 있음을 추가로 밝힌다. 코드와 데이터는 https://github.com/JetAstra/MacAgentBench 에서 공개로 제공된다.