ScholarQuest: 개방형 문헌 환경에서의 에이전트 기반 학술 논문 검색을 위한 분류 체계 기반 벤치마크
ScholarQuest: A Taxonomy-Guided Benchmark for Agentic Academic Paper Search in Open Literature Environments
학술 논문 검색은 과학적 연구의 핵심 단계이며, LLM(대규모 언어 모델) 기반 검색 에이전트는 반복적이고 의도 기반의 문헌 탐색을 위한 유망한 패러다임으로 부상하고 있습니다. 그러나 기존 벤치마크들은 현실적인 개방형 문헌 환경에서 에이전트 기반 학술 검색을 체계적으로 평가하기에 부족합니다. 본 연구에서는 에이전트 기반 학술 논문 검색을 위한 대규모의 분류 체계 기반 벤치마크인 ScholarQuest를 제안합니다. ScholarQuest는 1,000개 이상의 컴퓨터 과학 주제와 방법 중심, 설정 기반, 비교 기반, 범위 제어 쿼리를 포함한 4가지 대표적인 연구 의도로부터 구성되었습니다. 또한 재현 가능한 평가를 위해 확장 가능한 답변 구성 방식과 공유 검색 백엔드인 ScholarBase를 제공합니다. 벤치마킹 결과에 따르면 에이전트 방법들은 단일 샷(single-shot) 검색 기준선(baselines)보다 우수한 성능을 보였으나, 최고 성능의 에이전트조차도 0.314의 재현율@100(Recall@100)과 0.355의 재현율@All(Recall@All)만 달성하여 상당한 개선의 여지가 있음을 보여줍니다. 또한, 검색 효율성, 의도 수준 강건성(robustness), 실패 사례에 대한 분석은 학술 논문 검색 에이전트에 대한 다차원 평가 신호를 제공할 수 있는 이 벤치마크의 능력을 더욱 부각합니다.