EComAgentBench: 분산된 숨겨진 의도를 포함한 장기 작업에서 쇼핑 에이전트 벤치마킹
EComAgentBench: Benchmarking Shopping Agents on Long-Horizon Tasks with Distributed Hidden Intent
대규모 언어 모델(LLM) 기반 쇼핑 에이전트가 프로덕션 환경에 진입함에 따라, 기존 벤치마크들은 쇼핑객의 요구사항이 전달되는 방식—쿼리에 암묵적으로 명시되거나, 프로필에 기록되거나, 적절한 질문을 받을 때만 드러나는 방식—을 포착하지 못하고 있다. 전체 의도를 처음부터 노출하고 최종 선택만을 평가하는 벤치마크는 이러한 장기(long-horizon) 과제를 제기하지도, 에이전트가 어떤 요구사항을 놓쳤는지 설명하지도 못한다. 이 간극을 해소하기 위해 우리는 실제 Amazon 상품 및 리뷰에 기반한 662개 작업으로 구성된 벤치마크인 EComAgentBench를 소개한다. 각 작업은 요구사항을 가시적인 쿼리, 도구 접근이 필요한 프로필, 그리고 스크립트된 명확화 과정에 분산시키며, 에이전트는 숨겨진 의도를 발견하고, 속성 및 리뷰 근거를 바탕으로 후보 상품을 검증하며, 100회의 도구 호출 내에 단일 상품을 확정해야 한다. 또한 유형화되고 출처가 태그된 루브릭(rubric)이 모든 작업을 평가하여, 각 실패를 해당 요구사항과 그 출처에 귀속시킨다. 구성 과정은 자동화되어 있으면서도 신뢰할 수 있으며, 모든 정답은 텍스트 생성 이전에 코드로 고정되고 모든 샘플은 검증된다. 7개 모델에 대한 평가 결과, 가장 강력한 모델도 전체 정확도 57.1%에 그치며, 루브릭 만족도는 가시적 출처에서 숨겨진 출처로 갈수록 저하됨을 확인하였다. 전반적으로, 우리는 EComAgentBench가 쇼핑 에이전트를 단일 쿼리 검색에서 장기적으로 신뢰할 수 있는 보조로 발전시키기 위한 재현 가능한 기반으로 기능할 것이라 믿는다.