MM-ToolSandBox: 시각적 도구 호출 에이전트 평가를 위한 통합 프레임워크
MM-ToolSandBox: A Unified Framework for Evaluating Visual Tool-Calling Agents
우리는 시각적으로 그라운딩된 도구 호출 에이전트를 위한 벤치마크 및 평가 프레임워크인 MM-ToolSandBox를 소개한다. 이 프레임워크는 16개 응용 도메인에 걸쳐 500개 이상의 도구를 포괄하는 상태 저장(stateful) 실행 환경을 제공하며, 에이전트가 순차적으로 도착하는 시각적 입력을 실행 가능한 도구 호출로 그라운딩하면서 현실적인 대화 현상(목표 수정, 오류 정정, 상태 변이)을 처리해야 하는 멀티 이미지, 멀티 턴 태스크를 지원한다. 자동화된 시나리오 생성 파이프라인은 정보 흐름 기반 계획 수립과 다단계 품질 필터링을 통해 다양한 시각적 그라운딩 시나리오를 생성하며, 그 결과 258개의 인간 검증 정상 시나리오와 대화형 UI 애플리케이션을 대상으로 한 50개의 변형 시나리오를 산출한다. 4B 오픈 가중치 모델부터 프론티어 상용 시스템까지 12개의 최신 모델을 평가한 결과, 현재 모델들은 여전히 견고한 시각적 도구 호출 능력이 부족함을 보여준다: 최고 성능 모델조차 성공률이 50% 미만이다. 실패 분석을 통해 시각적 정밀도(visual precision)가 계획 수립뿐 아니라 유능한 모델의 주요 병목임을 확인했다: 실패의 53%는 태스크 워크플로 자체는 올바름에도 이미지에서의 잘못된 정보 추출에서 비롯된다. 규모에 따른 계획-정밀도 교차 현상이 나타난다: 소형 모델은 무엇을 해야 할지 결정하는 단계에서 실패하는 반면, 대형 모델은 자신이 보는 것을 인식하는 단계에서 실패하며, 이는 서로 다른 능력 수준의 모델 개선을 위한 근본적으로 상이한 연구 방향을 시사한다. 프레임워크와 벤치마크는 https://github.com/apple/ml-mmtoolsandbox 에서 공개적으로 이용 가능하다.