EgoBench: 도구 사용 에이전트를 위한 상호작용형 1인칭 시점 멀티모달 벤치마크
EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents
AI 에이전트(agent)가 개방된 실세계 환경(environment)에서 동작하는 일이 점점 늘어남에 따라, 멀티모달 인식, 다단계 추론(multi-hop reasoning)을 수반한 도구 호출, 그리고 사용자와의 동적 상호작용 간의 긴밀한 시너지가 요구됩니다. 그러나 기존 벤치마크(benchmark)들은 엄격하게 결합된 다중 능력 과제 설계, 자연스러우면서도 과제 제약적인 사용자 피드백 시뮬레이션, 동적 상호작용에 대한 객관적 평가 보장 등의 어려움으로 인해 이러한 역량들을 종합적으로 평가하지 못하고 있습니다. 이러한 간극을 메우기 위해, 도구 사용 에이전트를 위한 최초의 상호작용형 멀티모달 벤치마크인 EgoBench를 소개합니다. EgoBench는 5가지 일상 시나리오를 아우르는 1,590개의 1인칭 시점(egocentric) 비디오 그라운딩 과제와 함께 평가를 위한 사용자-에이전트-도구 상호작용 환경으로 구성됩니다. 우리는 시각적 인식과 도구 기반 다단계 추론의 결합 적용을 강제하도록 각 과제를 설계하는 3단계 시너지 파이프라인을 구현합니다. 또한 에이전트의 상호작용 역량을 평가하기 위해 고품질의 과제 맞춤형 응답을 에이전트에 생성하는 다중 에이전트 시뮬레이션 사용자를 개발합니다. 나아가 프로세스 기반 및 결과 기반 동등성을 통해 객관적 평가를 보장하는 결정론적 결합 검증(validation) 프레임워크를 구축합니다. EgoBench에서 8종의 비디오 MLLM 에이전트를 벤치마킹한 결과 심각한 성능 한계가 드러났습니다. 최고 성능의 모델(model)조차 3가지 상호작용 모드 전반에서 평균 결합 성공률(Joint Success Rate)이 34.95%에 불과했습니다. 마지막으로 다차원 오류 분석을 수행하여 실패 모드를 분리하고, 미래의 AI 에이전트 발전을 위한 역량 병목 지점을 규명합니다.