자본시장 워크플로에서 핵심 질문은 대규모 언어 모델(LLM)이 유창한 초안을 만들 수 있는지가 아니라, 그 초안이 bankable한지—상대방이나 규제 당국 앞에서 손에 든 문서와 함께 방어할 수 있는지—입니다. 기존 방법들은 그 격차의 일부만 다룹니다. 개방형 QA 벤치마크는 표면적 정확도에 보상을 부여하고, 금융 벤치마크(FinanceBench, FinQA, ConvFinQA)는 문서 기반 및 수치 QA를 발전시키지만, 실무자들이 방어해야 하는 워크플로 출력물이 아닌 질문-답변 층에서 평가합니다. 우리는 CM-LRS(Capital Markets LLM Reliability Score, 자본시장 LLM 신뢰성 점수)를 도입하여, 사실 정확성, 증거 추적 가능성, 수치 일관성, 워크플로 완전성, 출처 규율, 의사결정 유용성, 검토 가능성/감사 가능성의 7개 차원에서 워크플로 출력 층의 출력물을 평가합니다. 각 차원은 규제 환경의 검토자들이 사용하는 신호에 기반한 루브릭에 따라 0–5점으로 채점되며, 종합 점수는 워크플로에 맞게 조정 가능합니다. 공개 SEC EDGAR 제출 서류, 공개 영국 인수 공시, 가상의 합성 보충 자료를 사용하여 5개 워크플로(DCM 거래 조건 추출, 선례 검색, 발행사 프로파일링, M&A 거래 비교 추론, ECM 거래 조건 추출)에서 CM-LRS를 시연하고, 3개 모델 패밀리에 걸친 4개의 독립 LLM 심사관으로 4개 모델을 채점했습니다. 세 가지 발견. 첫째, 최신 폐쇄형 소스 모델들은 4명 심사관 평균 CM-LRS에서 0.22점 이내로 밀집합니다(Sonnet 4.6 = 4.31, Opus 4.7 = 4.30, GPT-5.5 = 4.09); 4명의 심사관 모두 오픈 가중치 기준선(Llama 3.3 70B = 3.15)을 최하위로 평가합니다. 둘째, 그 격차는 추출(0.84)이 아니라 검색(2.23)과 합성(2.15)에 집중됩니다. 셋째, 의사결정 유용성(Decision Usefulness)은 모든 차원 중 교차 모델 분산이 가장 넓으며(발행사 프로파일링에서 4.0점), 심사관 간 일치도가 최상위입니다(평균 r = 0.52). 그럴듯함은 값싸다. 실무 수용 가능성이 기준이다.
독일 연방은행의 유가증권 담보 적격성 심사에서 OCR 노이즈와 독일어·영어 혼재 투자설명서 처리 한계를 넘기 위해, 작업을 추출·정규화·해석으로 나눈 LLM 기반 생성형 정보 추출 파이프라인을 최초로 적용했다. LLM-as-a-judge 값 기반 평가 결과 문서 수준 적격성 판단에서 최대 91% 정밀도를 달성했으며, 오인정을 줄이는 보수적 운용 특성을 확인했다.
고품질의 공개 웹 말뭉치가 점점 고갈됨에 따라, 깨끗한 긴 문맥(long-context) 문서는 대규모 언어 모델(LLM)의 학습 데이터로서 희소하고 비싼 자원이 되었습니다. 기존의 긴 문맥 말뭉치는 종종 독점적이고 획득 비용이 비싸거나, 합성으로 생성되었거나, 프로그래밍과 같은 좁은 도메인에 집중되어 있습니다. 우리는 재무 언어 모델링 및 평가를 위해 SEC 제출 문서를 레이아웃 충실의 MultiMarkdown으로 재구성한 오픈 소스인 Stanford EDGAR Filings Dataset (SEFD)를 소개합니다. SEFD는 감사된 재무제표, 위험 공시, 소유권 보고서, 회계 주석, 시장 변동성 유발 이벤트 제출 문서를 긴 문맥 사전학습 데이터로 사용 가능하게 만들며, 재무적 추론, 예측, 규정 준수(compliance), 문서 이해의 기초가 됩니다. 결과적으로 생성된 말뭉치는 토큰 효율적이고 모델 즉시 사용 가능(model-ready)하며, Common Crawl 기반 말뭉치와의 중복이 0.1% 미만입니다. 우리는 152B 토큰 규모의 초기 공개 스냅샷인 SEFD-v1을 공개하고, 550B 토큰으로 추정되는 더 큰 185만 건의 제출 문서 아카이브에 대한 말뭉치 수준의 분석을 제공합니다. 또한 SEFD에서 파생된 두 가지 벤치마크인 EDGAR-Forecast와 EDGAR-OCR을 소개합니다. EDGAR-Forecast는 모델 지식 컷오프(cutoff) 이후의 제출 문서 기반 수치 예측을 평가하고, EDGAR-OCR은 복잡한 재무 테이블의 전사를 평가합니다.
비전-언어 모델(VLMs)은 다양한 문서 이해 작업에서 우수한 성능을 보이지만, 전문적이고 비영어권 도메인에서의 신뢰성은 아직 충분히 탐구되지 않았습니다. 이러한 격차는 특히 금융 분야에서 중요한데, 금융 문서는 밀도 높은 규제 텍스트, 수치 테이블, 시각적 차트가 혼재되어 있고 추출 오류가 실질적인 결과를 초래할 수 있기 때문입니다. 본 연구에서는 프랑스어 금융 문서 이해를 평가하기 위한 첫 번째 멀티모달 벤치마크인 Scribe Finance를 소개합니다. 해당 데이터셋은 실제 투자 설명서, KIDs, PRIIPs에서 추출한 1,204개의 전문가 검증 질문을 포함하며, 텍스트 추출, 테이블 이해, 차트 해석, 멀티턴 대화형 추론을 아우릅니다. 우리는 LLM-as-judge 프로토콜을 사용하여 6개의 오픈 가중치(open-weight) VLM(8B-124B 파라미터)을 평가했습니다. 모델들은 텍스트 및 테이블 작업에서는 강력한 성능(85-90% 정확도)을 보였으나, 차트 해석(34-62%)에서는 어려움을 겪었습니다. 가장 두드러운 점은 멀티턴 대화에서 명확한 실패 모드가 드러났다는 것으로, 초기 실수가 연속된 턴에 걸쳐 전파되어 모델 크기에 상관없이 정확도를 약 50%까지 떨어뜨렸습니다. 이러한 결과는 현재 VLM이 명확히 정의된 추출 작업에는 효과적이지만, 대화형 다단계 금융 분석에서는 여전히 취약함을 시사합니다. Scribe Finance는 이러한 결과가 중요한 상황에서 진전을 측정하고 견인하는 도전적인 벤치마크를 제공합니다.