FinDeepIndicator: 엔드투엔드 금융 지표 구축에서 딥 리서치 에이전트 벤치마킹
FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction
금융 지표는 기업 가치 평가(valuation), 위험 평가, 경제 분석 등 다양한 다운스트림 작업을 위해 원시 금융 데이터를 해석 가능한 측정치로 변환하는 필수 도구입니다. 그러나 기존 금융 벤치마크는 주로 최종 답변 수준의 정확도에 초점을 맞추며 관련 데이터가 이미 제공되어 있다고 가정하는 경우가 많아, 지표 구축의 중간 과정에 대한 평가는 충분히 탐색되지 않았습니다. 본 연구에서는 엔드투엔드(end-to-end) 금융 지표 구축에서 딥 리서치(Deep Research, DR) 에이전트를 평가하는 데 특화된 최초의 벤치마크인 FinDeepIndicator를 제안합니다. 구체적으로 FinDeepIndicator는 공식 명세, 데이터 수집, 지표 계산, 답변 생성이라는 지표 구축의 4단계에 걸쳐 DR 에이전트를 평가하며, 21개의 세부 하위 범주로 구성된 기본적·기술적·거시경제적 지표를 다룹니다. 이 벤치마크는 미국 및 중국 시장, 10년간의 과거 금융 데이터, 800개 상장 기업에서 추출한 정제된 3,350개의 질의응답(QA) 쌍을 포함합니다. 검색 기능이 탑재된 대규모 언어 모델(LLM)과 DR 에이전트를 대상으로 한 광범위한 실험 결과, LLM은 공식 명세 단계에서는 전반적으로 우수한 성능을 보였으나 데이터 검색 및 수치 계산 실행 단계에서는 정확도가 크게 떨어졌습니다. DR 에이전트는 검색 기능 탑재 LLM을 일관되게 능가했음에도 불구하고, 실제 금융 분석 환경에서는 여전히 신뢰성이 부족했습니다. 이러한 결과는 금융 분야에서 더욱 유능하고 신뢰할 수 있는 DR 에이전트를 개발하기 위한 통찰을 제공합니다.