금융 질의응답 향상: 은행 재무제표 기반의 새로운 벤치마크 데이터셋
Enhancing Financial Question Answering: A Novel Benchmark Dataset of Banks' financial statements
한국어 초록
은행 재무제표의 비교 분석은 문서의 복잡성, 방대한 분량, 전문적인 용어, 그리고 관할권과 기관에 따라 텍스트와 수치 내용이 균질하지 않다는 점 때문에 자동 질의응답 시스템에 상당한 어려움을 안겨준다. 본 논문은 금융 질의응답을 위한 새로운 벤치마크 데이터셋인 FinRAG-QA를 소개한다. FinRAG-QA는 2019~2023년에 걸친 유럽 및 미국 주요 은행 24곳의 연차보고서와 Pillar 3 보고서 209건을 근거로 하여, 10개의 표준화된 지표에 대해 실무자가 직접 선별한 질문 999개로 구성된다. 미국 공시 자료와 단일 기관 분석에 초점을 맞춘 기존 금융 QA 벤치마크와 달리, FinRAG-QA는 평균 198k 단어 분량의 문서, 즉 기존 어떤 금융 QA 자료보다 긴 문서를 대상으로 기관 간 검색(cross-institutional retrieval)을 목표로 한다. 이 벤치마크에서 다단계 RAG 파이프라인을 평가하고 각 구성 요소의 기여도를 분리하여 분석한다. 문맥 기반 청크 보강(contextual chunk enrichment)과 검색에 최적화된 임베딩 모델을 함께 사용하면 NDCG@10이 0.322에서 0.710으로 상승한다. 정답 근거가 검색되었다는 조건 하에서, 추론에 최적화된 생성기를 사용하면 답변 정확도가 44.6%에서 79.0%로 상승하지만(+34.4 퍼센트 포인트), 생성 지연 시간은 약 20배에 달한다. 또한 1단계 순위가 이미 우수한 경우 크로스 인코더 재순위화(cross-encoder reranking)가 오히려 검색 성능을 저하시키며, 생성 단계에서는 상위 1개 청크만 사용하는 것이 더 큰 컨텍스트를 사용하는 것보다 성능이 좋다는 점을 보인다. 실험은 2024년 말~2025년 초에 당시 이용 가능했던 모델들로 수행되었다.
원문 초록
The comparative analysis of banks' financial statements poses significant challenges for automated question answering systems due to their complexity, substantial length, technical language, and inhomogeneity of both textual and numerical content across different jurisdictions and institutions. We introduce FinRAG-QA, a novel benchmark dataset for financial question answering, which comprises 999 practitioner-curated questions on 10 standardised indicators, grounded in 209 annual and Pillar 3 reports from 24 major European and U.S. banks spanning 2019-2023. Unlike prior financial QA benchmarks, which centre on U.S. filings and single-institution analysis, FinRAG-QA targets cross-institutional retrieval over documents averaging 198k words, longer than any existing financial QA resource. On this benchmark we evaluate a multi-stage RAG pipeline and isolate the contribution of each component. Contextual chunk enrichment combined with a retrieval-optimised embedding model raises NDCG@10 from 0.322 to 0.710; conditional on the ground truth being retrieved, a reasoning-optimised generator raises answer accuracy from 44.6% to 79.0% (+34.4 percentage points), at roughly 20x the generation latency. We further show that cross-encoder reranking degrades retrieval when the first-stage ranking is already strong, and that a single top-ranked chunk outperforms larger contexts at generation time. Experiments were run in late 2024-early 2025 with the models available at that time.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03654v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.