HyperBrowseComp: 웹 브라우징 에이전트를 위한 다국어 및 멀티모달 스트레스 테스트
HyperBrowseComp: A Multilingual and Multimodal Stress Test for Web-Browsing Agents
본 논문에서는 모국어 화자 또는 높은 숙련도를 갖춘 화자가 작성하고 사람이 검증한 13개 언어에 걸친 423개의 수작업 질문으로 구성된 다국어 및 멀티모달 브라우징 벤치마크인 HyperBrowseComp를 소개합니다. 질문들은 극도로 어렵게 설계되었습니다. 각 질문은 모호한 증거 탐색, 다단계 단서 추적, 또는 비디오, 스캔 문서, 이미지, 지도와 같은 이종 출처 조사를 거쳐야만 발견할 수 있는 간결하고 공개적으로 검증 가능한 정답을 목표로 합니다. 파라메트릭 지식(parametric knowledge)만으로 답변될 가능도를 낮추기 위해, 인터넷 접속이 불가능한 모델로 평가하여 더 쉬운 질문들을 걸러냈습니다. 저자들은 공통 에이전트 프로토콜 하에서 제공자 네이티브 검색 및 공유된 외부 검색 하네스를 사용하여 여러 모델을 평가합니다. 모델의 성능과 노력을 맥락화하기 위해 질문 표본에 대한 인간 평가도 수행합니다. HyperBrowseComp는 개방형 웹에서 증거를 발견하고 연결하는 과정에서 발생하는 난이도를 바탕으로, 언어와 증거 양식 전반에 걸친 지속적인 정보 탐색을 위한 도전적인 테스트베드를 제공합니다.