FinFIRST: 금융 정보 검색, 출처 확인 및 추적 가능성을 위한 검색 에이전트 벤치마크
FinFIRST: Benchmarking Search Agents for Financial Information Retrieval, Sourcing and Traceability
금융 검색은 LLM 에이전트에게 매우 까다로운 작업으로, 올바른 최종 답변뿐만 아니라 시점상 유효한 정보 검색, 신뢰할 수 있는 출처 선택, 개체 및 기간 정렬, 단위 및 정의의 일관성, 그리고 모든 결론에 대한 검증 가능한 근거를 요구합니다. 기존 벤치마크는 대부분 최종 답변만을 평가하므로, 오류의 위치를 파악하거나 답변이 충분한 근거를 갖추었는지 평가하기 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 원자적 루브릭(atomic rubric)을 통해 답변과 이를 뒷받침하는 근거를 함께 평가하는 최초의 금융 벤치마크인 FinFIRST(Financial Information Retrieval, Sourcing and Traceability)를 소개합니다. FinFIRST는 단계적 난이도 범위에 걸친 123개의 전문가 작성 태스크로 구성되며, 이 태스크들은 실제 금융 시나리오의 집계된 패턴을 바탕으로 18개 필드 분류 체계, 6개 축의 커버리지 청사진, 138개 금융 출처 레지스트리, 50명이 넘는 금융 전문가의 기여, 그리고 6단계 품질 관리 파이프라인을 통해 구축되었습니다. 각 태스크에는 근거 기반의 참조 패키지가 함께 제공되며, 이는 원시 정보 획득, 출처 검증, 그리고 계산 및 답변 도출이라는 세 가지 차원의 원자적 기준으로 분해되어 있습니다. 우리는 통합된 도구 설정 하에서 15개 모델 구성을 평가했습니다. Claude-Opus-5는 87.59%로 가장 높은 원자적 점수(atomic score)를 달성했으며, GPT-5.6-Sol은 71.54%로 가장 높은 엄격 통과율(strict pass rate)을 기록했습니다. 계산 및 답변 도출은 모든 시스템에서 일관되게 원시 정보 획득보다 뒤처졌습니다. FinFIRST는 최종 답변의 정확성을 핵심 목표로 유지하면서, 이를 뒷받침하는 조사 과정을 측정 가능하고, 검증 가능하며, 진단 가능하게 만듭니다.