대규모 언어 모델 에이전트는 규제 공시를 검색하여 금융 질문에 답하는 경우가 점점 많아지고 있다. 이러한 질문은 종종 겉보기와 달리 명세가 부족하다. Meta Platforms의 "operating income"은 연결 기준 $46.75B이지만 Family of Apps 부문만 보면 $62.87B이며, 각 해석은 공시와 정확히 대조해 검증할 수 있다. 유능한 에이전트는 모호함을 인식하고 질문해야 하며, 그럴듯하지만 의도와 다른 해석에 성급히 몰입해서는 안 된다. 기존 금융 벤치마크는 이를 측정할 수 없는데, 질문당 하나의 정답만으로는 모호함을 해소하는 에이전트와 흔한 해석을 추측하는 에이전트를 구분할 수 없기 때문이다. 우리는 이를 단일 정답 환상(single-gold illusion)이라 부른다. 우리는 FinInteract를 공개한다. 이는 영어/중국어 이중 언어 벤치마크로 173개 인스턴스를 포함하며, 5개 범주의 모호성 분류 체계에 따라 각 질문에 기본 해석과 의도된 해석을 짝지어 두고, 에이전트가 적절한 명확화를 이끌어낸 뒤 이를 통합하는지를 채점한다. 동일한 출력을 의도된 해석이 아닌 기본 해석으로 다시 채점하면 GPT-4o의 정확도가 3.1배 부풀려져 환상이 확인된다. 이를 넘어, 해석이 주어지면 모델은 90% 이상 답하지만 스스로 이끌어내야 할 때는 최대 28.9%에 그친다. 또한 분류 체계 전반에서 역량이 고르지 않으며 엔티티 범위(entity scope)와 지표 정의(metric definition)에서는 검정력이 충분하고 그 외 영역에서는 탐색적이다. 모호성 범주를 조건으로 두면 추론과 학습 시점 모두에서 해소 성능이 개선된다.
우리는 영어, 스페인어, 그리스어, 중국어, 힌디어를 아우르는 다국어 금융 시험 질의응답 벤치마크인 FinMMEval 2026 Task 1에 대한 DS@GT의 제출 결과를 제시한다. CFA, EFPA, CPA와 같은 금융 자격 시험은 표준 자연어 처리(NLP) 벤치마크가 포착하지 못하는 구조화된 도메인 추론을 요구하며, 검색 및 표현 인프라가 미발달된 언어에서는 이 과제가 더욱 가중된다. 우리는 LangGraph 기반의 검색-증강 생성(RAG) 파이프라인을 구축하여 질의 언어를 감지하고, BGE-M3 임베딩과 FAISS 인덱싱을 사용해 30,209개 항목의 다국어 지식 베이스에서 의미적으로 관련 있는 예시를 검색한다. 시스템은 이어서 검색-증강 직접 점수화(RADS)를 통해 답을 채점하며, 자유 형식 출력을 생성하는 대신 후보 선택지 문자에 대한 다음 토큰 로그 확률을 읽는다. 저자원 언어의 경우, 가중 역순위 융합(weighted Reciprocal Rank Fusion)을 사용하여 언어별 및 교차 언어 검색 인덱스를 융합한다. 모델 선택은 언어 라우팅 방식이다: 아랍어, 중국어, 힌디어에는 Qwen3-14B; 영어에는 Qwen2.5-14B; 그리스어에는 Llama-3.1-8B를 사용하며, 이 라우팅은 상당한 언어 비대칭 성능 격차를 드러내는 실증적 ablation에서 도출되었다. 주목할 점은, 사고의 연쇄(Chain-of-Thought) 프롬프팅이 그리스어 정확도를 크게 저하시킨다(90.7%에서 20.9%로)는 것이며, Qwen3의 기본 thinking 모드를 활성화하면 아랍어 RADS 성능이 거의 무작위 수준으로 붕괴한다. 우리의 결과는 효과적인 다국어 금융 추론이 언어 인식 검색, 모델 라우팅, 그리고 의도적인 점수화 전략 선택을 필요로 함을 보여준다.
금융 애플리케이션에서 대규모 언어 모델(LLM)은 자신 있게 틀릴 때 가장 심각한 실패를 초래한다. 불확실성이 드러난 답변은 검토를 유도하는 반면, 자신감 있는 오류는 경고 없이 하위 의사결정을 조용히 저하시킨다. 본 연구에서는 이러한 자신 있는 오답, 즉 확신에 찬 환각(confident hallucination)을 모델의 내부 활성화(internal activations)로부터 얼마나 신뢰성 있게 탐지할 수 있는지, 그리고 해당 활성화가 관측 가능한 출력 이상의 정보를 담고 있는지를 탐구한다. 우리는 잔류 스트림(residual stream)에 선형 프로브(linear probes)를 학습시키고, 실제 공시 문서 기반으로 구축된 두 가지 기존 질의응답(QA) 벤치마크인 FinQA와 TAT-QA에서 이를 평가한다. 행동적 신뢰도(behavioral confidence)는 동일 질문에 대해 8회 재샘플링된 답변 간의 일치도로 측정하며, 프로브의 효과는 토큰 로그-확률 및 모델 자체의 True/False 자기 평가와 같은 기준선(baseline) 방법과 비교한다. 실험 결과, 8회 재샘플링 결과가 모두 일치하는 확신 있는 답변 중 FinQA에서 15~23%가 오답임을 확인했다. 이 경우 프로브는 환각 탐지에서 기준선 방법에 비해 유의미한 우위를 보였으며, Qwen3-8B, Llama-3.1-8B, Gemma-2-9B 전반에 걸쳐 0.68~0.77 AUROC를 기록한 반면 최상의 기준선은 0.55~0.63에 그쳤다. 본 결과는 프로빙(probing)이 고위험 금융 애플리케이션에서 LLM 답변을 인간 검토 및 품질 관리 절차로 라우팅하기 위한 비용 효율적인 트리아지(triage) 메커니즘이 될 수 있음을 시사한다.
금융 질의응답에서 대규모 언어 모델(LLM) 답변의 검증이 어렵다는 문제를 다루기 위해 EvidenceLens는 답변을 원자적 주장으로 분해하고 텍스트·표·차트 근거와의 정렬을 다중모달 주장-근거 행렬로 시각화하는 시각 분석 프로토타입을 제안한다. 커버리지, 모순, 모달리티 불균형과 신뢰-근거 격차를 드러내어 분석가가 그라운딩된 주장과 근거가 약한 과잉 합성을 구분할 수 있게 한다.