SentinelBench: 장시간 실행 모니터링 에이전트 벤치마크
SentinelBench: A Benchmark for Long-Running Monitoring Agents
AI 에이전트는 분, 시간, 또는 그보다 더 긴 기간에 걸치는 작업을 수행하도록 점점 더 요구받고 있다. 그러나 에이전트 행동의 기본 모델은 지속적인 행동이다: 툴 호출, 페이지 새로고침, 대안 탐색, 또는 다른 방식으로 진행을 강제하려는 시도. 이는 많은 장시간 실행 작업에 잘못된 접근법이며, 이러한 작업에는 지속적 어텐션 전략이 더 적합하다. 대신 에이전트는 환경을 모니터링하고, 외부 이벤트가 진행 가능하게 만들 때 이를 인지한 뒤, 대기하는 동안 자원을 낭비하지 않으면서 신속하게 대응해야 한다. 이러한 작업 유형의 진행 상황을 측정하기 위해, 우리는 시간에 따라 변화하는 모니터링 작업을 위한 오픈 소스 벤치마크인 SentinelBench를 소개한다. SentinelBench는 이메일, 캘린더, 금융, 전문 네트워킹, 엔터테인먼트 등 10개의 합성 웹 환경에 걸쳐 100개의 작업을 포함한다. 각 환경은 라이브 웹 인터페이스를 제공하고 스크립트화된 이벤트 시퀀스를 재생하며, 에이전트가 그 발밑에서 상태가 변하는 웹 페이지를 탐색하고 추론하도록 요구한다. SentinelBench는 작업 완료, 반응 시간, 자원 사용을 측정하여 응답성과 비용 사이의 트레이드오프를 드러낸다. 우리는 세 가지 모델과 두 가지 브라우저 에이전트 하네스에 걸친 결과를 보고하여 향후 비교를 위한 성능 기준선을 확립하고, 에이전트 설계 선택이 핵심 지표에 어떻게 극적으로 영향을 미칠 수 있는지 보여준다. 종합하면, 이러한 결과는 SentinelBench가 에이전트 행동의 의미 있는 차이를 구별할 수 있음을 보여준다.