arXiv:2610.38631v1 cs.AI

맞는 숫자, 틀린 질문: 불충분하게 명세된 금융 질의에 대한 LLM 평가

Right Numbers, Wrong Questions: Evaluating LLMs on Underspecified Financial Queries

Radha Yadav, Prasanna Devadiga, Peeyush Mishra, Apoorv Singh

제출 2026-10-28

저자 비고

arXiv Comments

Accepted for oral presentation at the 3rd Workshop on LLMs and Generative AI for Finance (AI4F) at ACM ICAIF '26, Milan, Italy, November 14, 2026. Non-archival. 16 pages, 4 figures

한국어 초록

금융 어시스턴트는 사실적으로 들리지만 사용자가 말하지 않은 것에 좌우되는 질문, 즉 데이터 수치가 무엇을 측정하는지, 어떤 상품 유형을 뜻하는지, 투자자의 상황과 적용되는 규칙이 무엇인지에 답한다. 이를 무시하는 어시스턴트도 자신의 데이터에 있는 실제 숫자로 답할 수 있지만, 그 숫자는 다른 질문에 대한 답이다. 우리는 이를 프레임 붕괴(frame collapse)라 부른다. 우리는 상품 유형과 세금 규칙이 공식적으로 정의되어 있어 모든 해석에 대해 정답을 계산할 수 있는 인도 뮤추얼 펀드에서 이를 연구한다. 각 과제는 하나의 연구로 검증한다. 모호하게 표기된 수치가 주어졌을 때 모델은 종종 사용자의 표기에 따라 그것을 사용하였다. 모든 대안이 표기되어 주어졌을 때는 이를 모두 나열했지만, 어느 것이 먼저 오는지는 배치가 결정하였다. 투자자에 관한 사실이 빠진 경우, 더 약한 에이전트는 기본값이나 오래된 세금 규칙을 가정하였으며, 그 사실을 요구한다고 해서 그것의 사용이 보장되지는 않았다. 이러한 답변은 데이터와 일치하므로 데이터에 대한 검사는 이를 통과시킨다. AI 판정자는 각 필드의 의미를 알려 주었을 때에만 잘못 표기된 수치를 잡아냈고, 다른 해석을 조용히 택한 답변은 여전히 통과시켰다. 우리는 이러한 실패가 얼마나 자주 일어나는지가 아니라 어떻게 발생하는지를 보이고, 금융 어시스턴트를 위한 통제 방안을 제안한다.

원문 초록

Financial assistants answer questions that sound factual but depend on what the user leaves unsaid: what a data figure measures, which product variant is meant, and the investor's situation and the rules that apply. An assistant that ignores these can still answer with a real number from its data, one that answers a different question. We call this frame collapse. We study it in Indian mutual funds, where product variants and tax rules are formally defined, so the correct answer can be computed for every reading. One study tests each challenge. Given an ambiguously labelled figure, models used it, often under the user's label. Given every alternative labelled, they listed them all, but the layout decided which came first. Missing a fact about the investor, weaker agents assumed a default or an outdated tax rule; requiring the fact did not guarantee its use. Because such answers match their data, checks against the data pass them. An AI judge caught mislabelled figures only when told what each field means, and still passed answers that silently chose another reading. We show how these failures arise, not how often, and propose controls for financial assistants.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.38631v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.