arXiv:2608.00764v1 cs.AI

FinDeepIndicator: 엔드투엔드 금융 지표 구축에서 딥 리서치 에이전트 벤치마킹

FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction

Chaoqun Yang, Fengbin Zhu, Xinyu Lin, Long Bai, Xiaoluan Liu, Ke-Wei Huang, Roger Zimmermann, Tat-Seng Chua

제출 2026-08-01

한국어 초록

금융 지표는 기업 가치 평가(valuation), 위험 평가, 경제 분석 등 다양한 다운스트림 작업을 위해 원시 금융 데이터를 해석 가능한 측정치로 변환하는 필수 도구입니다. 그러나 기존 금융 벤치마크는 주로 최종 답변 수준의 정확도에 초점을 맞추며 관련 데이터가 이미 제공되어 있다고 가정하는 경우가 많아, 지표 구축의 중간 과정에 대한 평가는 충분히 탐색되지 않았습니다. 본 연구에서는 엔드투엔드(end-to-end) 금융 지표 구축에서 딥 리서치(Deep Research, DR) 에이전트를 평가하는 데 특화된 최초의 벤치마크인 FinDeepIndicator를 제안합니다. 구체적으로 FinDeepIndicator는 공식 명세, 데이터 수집, 지표 계산, 답변 생성이라는 지표 구축의 4단계에 걸쳐 DR 에이전트를 평가하며, 21개의 세부 하위 범주로 구성된 기본적·기술적·거시경제적 지표를 다룹니다. 이 벤치마크는 미국 및 중국 시장, 10년간의 과거 금융 데이터, 800개 상장 기업에서 추출한 정제된 3,350개의 질의응답(QA) 쌍을 포함합니다. 검색 기능이 탑재된 대규모 언어 모델(LLM)과 DR 에이전트를 대상으로 한 광범위한 실험 결과, LLM은 공식 명세 단계에서는 전반적으로 우수한 성능을 보였으나 데이터 검색 및 수치 계산 실행 단계에서는 정확도가 크게 떨어졌습니다. DR 에이전트는 검색 기능 탑재 LLM을 일관되게 능가했음에도 불구하고, 실제 금융 분석 환경에서는 여전히 신뢰성이 부족했습니다. 이러한 결과는 금융 분야에서 더욱 유능하고 신뢰할 수 있는 DR 에이전트를 개발하기 위한 통찰을 제공합니다.

원문 초록

Financial indicators are essential tools for transforming raw financial data into interpretable measures for various downstream tasks, such as valuation, risk assessment, and economic analysis. However, existing financial benchmarks largely focus on answer-level accuracy and often assume that relevant data are already provided, leaving the assessment of the intermediate process of indicator construction underexplored. In this work, we propose FinDeepIndicator, the first benchmark dedicated to evaluating Deep Research (DR) agents in end-to-end financial indicator construction. Specifically, FinDeepIndicator evaluates DR agents across four stages in indicator construction: formula specification, data collection, indicator calculation, and answer generation, and covers fundamental, technical, and macroeconomic indicators organized into 21 fine-grained sub-categories. It contains 3,350 curated question-answer (QA) pairs derived from both U.S. and Chinese markets, 10 years of historical financial data, and 800 listed companies. Extensive experiments on search-equipped Large Language Models (LLMs) and DR agents show that, while LLMs generally perform well in formula specification, their accuracy drops substantially during data retrieval and numerical execution. DR agents consistently outperform search-equipped LLMs, yet remain unreliable in realistic financial analysis settings. These findings provide insights for developing more capable and trustworthy DR agents in finance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.00764v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.