PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29894v2cs.IR

SABER-Math: 수학 정보 검색 평가를 위한 자동화 벤치마크

SABER-Math: Automated Benchmark for Information Retrieval Evaluation in Mathematics

에이전트 AI 시스템이 더욱 복잡한 수학적 과제를 처리함에 따라, 문제 데이터베이스, 정리 라이브러리, 교육 자료를 탐색하기 위한 정보 검색(IR)에 점점 더 의존하고 있다. 그러나 적절한 검색기를 선택하는 것은 쉽지 않으며, 하위 성능에 대한 검색기의 영향을 직접적으로 분리하는 것은 현실적으로 불가능하다. 반면, 기존의 검색 특화 벤치마크는 세밀한 수학적 관련성을 포착하지 못하는 경우가 많아 관련 문서에 불이익을 주기도 한다. 본 연구에서는 이러한 한계를 해결하기 위해 전문가 어노테이션 없이 수학적 IR을 평가하는 최초의 완전 자동화 벤치마크인 SABER-Math를 소개한다. SABER-Math는 풀이가 포함된 283K개의 고등학교 수준 수학 문제를 기반으로, 세 단계를 거쳐 도전적인 재순위(reranking) 태스크를 구성한다: (i) 먼저 대규모 언어 모델(LLM)이 각 문제에 대한 간결한 풀이 요약 및 수학적 주제를 추출하고, (ii) 온톨로지 주제 기반 유사도와 어휘 기반 풀이 요약 유사도를 활용하여 쿼리별 관련 문서를 발굴하며, (iii) 마지막으로 스위스식 LLM 선호도 토너먼트를 통해 문서에 대한 세밀한 관련성 등급을 산출한다. 본 연구에서는 어휘 기반 검색기, 수학 특화 검색 시스템, 그리고 최신 임베딩 모델을 평가한다. 현대적인 임베딩 모델이 고전적 방법 및 수학 특화 기준선을 크게 상회하는 반면, 가장 강력한 시스템조차 대수(Algebra)와 미적분(Calculus)과 같이 기호가 많은 영역에서는 어려움을 겪는 것으로 나타났다. 특히, MTEB와 같은 범용 IR 벤치마크는 수학적 성능, 특히 최신 임베딩 모델의 성능을 신뢰할 수 있게 예측하지 못함을 보이며, 이는 수학 특화 검색 벤치마크의 필요성을 강조한다.