대규모 언어 모델(LLM)은 금융 추론에서 강한 잠재력을 보여왔지만, 기존 벤치마크는 종종 도메인 지식, 수치 추론, 긴 문맥 이해, 도구 사용을 각각 분리된 설정에서 평가한다. 이는 감사 가능하고, 맥락에 기반하며, 도구로 실행 가능한 의사결정을 요구하는 현실적인 전문 업무 흐름을 평가하는 능력을 제한한다. 우리는 LLM의 전문 보험계리 역량을 평가하기 위한 종합 벤치마크인 INS-ActBench를 제안한다. INS-ActBench는 16개 보험계리 협회가 공개한 시험과 샘플 문제에서 나온 12,050개의 Q&A 쌍을 포함한다. 이는 세 가지 하위 집합을 다룬다: 표준화된 보험계리 지식을 위한 INS-Act-Know, 긴 문맥의 보험 사례 추론을 위한 INS-Act-Case, 검증 가능한 수치 출력을 갖는 스프레드시트 및 R 코드 과제를 위한 INS-Act-Practice. 9개의 대표적인 LLM과 인간 보험계리 전문가에 대한 실험은 명확한 역량 경계를 드러낸다. 최첨단 LLM은 표준화된 지식에서 강한 성능을 보이지만, 사례 추론, 도구 기반 업무 흐름, 관할권에 민감한 실무에서는 훨씬 약한 상태로 남아 있다. INS-ActBench는 신뢰할 수 있는 전문 보조를 목표로 하는 보험계리 LLM 개발을 위한 재현 가능한 기반을 제공한다. 코드는 https://github.com/FDU-INS/INS-ActBench 에서 확인할 수 있다.
하이브리드 표·텍스트 데이터에 대한 금융 질의응답은 다중 출처 추론과 정밀한 수치 계산이 필요할 수 있다. 대규모 언어 모델(LLM)은 중간 추론 단계를 생성할 수 있지만, 자연어 근거(rationale)는 산술 오류에 취약해 증류를 위한 신뢰할 수 있는 지도 신호가 되기 어렵다. 프로그램적 증류를 기반으로, 우리는 자유 형식의 텍스트 근거 대신 실행 검증된 Python 프로그램을 사용하여 대규모 교사 모델로부터 소형 학생 모델로 신뢰할 수 있는 수치 추론을 전달하는 접근법을 개발한다. 이 방법은 골드 유도 과정(gold derivations)을 활용해 교사 측 프로그램 합성을 안내하고, 올바르게 실행되어 골드 정답을 산출하는 프로그램만 유지하여 고품질 지도 신호를 보장한다. 또한 교사 모델이 실패한 사례를 재검토하는 반복적 복구 단계를 도입하여, 학생 모델이 새로 검증된 프로그램을 복구하고 학습에 통합할 수 있게 한다. TAT-QA에서의 실험은 본 프레임워크가 하이브리드 금융 추론에 매우 효과적임을 보여준다. 최고 성능의 7B 학생 모델은 테스트 세트에서 87.00 EM / 87.18 F1을 달성하여, 72B 교사 모델(78.46 EM)뿐 아니라 TAGOP, TAT-LLM을 포함한 전통적·강력한 LLM 기반 베이스라인을 크게 상회한다. 이 결과는 실행 검증된 프로그램적 증류가 더 작은 모델을 학습시켜 신뢰할 수 있는 수치 추론을 수행하게 하는 효과적이고 확장 가능한 프레임워크임을 보여준다.
전문 투자자의 절차적 의사결정 프레임워크를 LLM이 얼마나 정확히 재구성하고 적용할 수 있는지 평가하기 위해, 8개 인지 계층(L1~L8)에 걸친 다층 벤치마크 InvestPhilBench와 자동화 채점 파이프라인(BASP), 실패 모드 감지 프로토콜(FMDP), 게이트 재구성 정확도(GRA)를 제시한다. 주요 발견은 복합 점수(BASP)가 최전선 모델에서 포화 상태에 이르러 절차적 결핍을 숨기는 반면, GRA는 여전히 유의미한 절차적 격차를 드러낸다는 것이다(프론티어 모델 L4 GRA ≈ 0.77, L7 GRA 0.57~0.62).
MacroLens는 가격 이력, 회계 기본면, 거시경제 체제, 시점별 텍스트를 point-in-time 패널로 통합해 2021–2026년 미국 소형·초소형주 4,416종목에 대한 7가지 금융 추론 과제를 제공하는 다과제 벤치마크다. 선행정보·재무제표 보고 지연·서술-수치 중복·거시 체제 누수를 구축 단계에서 통제하고, 시계열 파운데이션 모델부터 제로샷 LLM까지 19개 방법으로 평가했다.
금융 시계열에서 기존 시계열 추론 모델(TSRM)의 한계를 2×2 능력 분류체계로 정리하고, S&P 종목 기반 10개 작업으로 구성한 FinTSR-Bench를 제안한다. FinSTaR은 결정론적 평가에는 Compute-in-CoT, 확률론적 예측에는 Scenario-Aware CoT를 적용해 FinTSR-Bench에서 평균 78.9% 정확도를 달성하며 LLM·TSRM 기준 모델을 크게 능가한다.
금융 멀티모달 추론은 에이전트(agent)가 이질적인 증거 소스 전반에 걸쳐 수치 계산, 검색(retrieval), 시각적 해석, 시간적 그라운딩(grounding)을 조율할 것을 요구합니다. 기존 도구 증강 에이전트(tool-augmented agents)는 실행 충실도를 개선하지만, 에피소드 간에 대부분 상태가 없는(stateless) 상태를 유지하여 추론 전략과 실패 패턴을 반복적으로 재발견합니다. 고위험 금융 환경에서 이는 신뢰할 수 없는 도구 라우팅(tool routing), 노이즈가 많은 검색(retrieval), 그리고 환각(hallucination)에 취약한 추론으로 이어집니다. 본 논문에서는 도구 증강 멀티모달 추론을 위해 선택적 경험 메모리를 중심으로 하는 금융 추론 에이전트(agent) 프레임워크인 FinAcumen을 제시합니다. FinAcumen은 이전 궤적(trajectories)에서 금융적으로 그라운딩된(grounded) 추론 경험을 축적하여, 성공적인 전략과 실패에서 유도된 주의 규칙을 지속적인 메모리 뱅크(memory bank)로 증류(distillation)합니다. 추론(inference) 과정에서 검색된 경험은 의미적 관련성이 보정된 임계값(threshold)을 초과할 때만 추론을 조건화하며, 관련 없는 메모리는 폴백 메커니즘(fallback mechanism)을 통해 명시적으로 억제됩니다. 결정론적 금융 도구 환경(environment)은 수치 계산, 검색(retrieval), 시각적 디코딩, 답변 검증을 추가로 그라운딩(grounding)합니다. 4개의 금융 멀티모달 추론 벤치마크(benchmarks)에서 FinAcumen은 고정된(frozen) 8B 비전-언어 모델(vision-language model)이 금융 전문 모델보다 일관되게 우수한 성능을 발휘하도록 하며, 선도적인 상용 범용 모델에 근접하는 성능을 보입니다. 추가 분석 결과, 선택적 경험 활성화는 검색(retrieval) 불확실성 하에서 추론 신뢰성을 향상시키는 것으로 나타났습니다. 본 연구의 코드는 https://anonymous.4open.science/r/FinAcumen 에서 익명으로 공개됩니다.
기존 벤치마크가 간과했던 시장 거래 신호와 기본 재무 정보(fundamentals)를 통합하여 금융 추론 능력을 평가할 수 있는 FinTradeBench를 제안한다. 14개의 대규모 언어 모델(LLM)에 대한 평가 결과, 검색 증강(RAG)은 텍스트 기반 재무 정보 추론에는 효과적이나 거래 신호 추론에는 제한적인 도움만을 제공함을 밝혔다.
금융 및 수치 추론의 정확성을 위해 질문을 원자적 주장(atomic claims)으로 분해하여 전문가 에이전트가 이를 매매하는 시장 메커니즘을 통해 실행 가능한 Python 프로그램을 합성하는 MoCA-Agent를 제안한다. 해당 방식은 다양한 공개 벤치마크에서 강력한 성능을 달성하며, 전체 답변이 아닌 원자적 주장 수준에서 증거를 집계하는 것이 고위험 수치 추론의 견고성을 향상시킴을 입증했다.