PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24002v1cs.AI

FinInteract: 모호한 금융 질의응답에서 명확화 및 의도 통합 벤치마킹

FinInteract: Benchmarking Clarification and Intent Integration in Ambiguous Financial Question Answering

대규모 언어 모델 에이전트는 규제 공시를 검색하여 금융 질문에 답하는 경우가 점점 많아지고 있다. 이러한 질문은 종종 겉보기와 달리 명세가 부족하다. Meta Platforms의 "operating income"은 연결 기준 $46.75B이지만 Family of Apps 부문만 보면 $62.87B이며, 각 해석은 공시와 정확히 대조해 검증할 수 있다. 유능한 에이전트는 모호함을 인식하고 질문해야 하며, 그럴듯하지만 의도와 다른 해석에 성급히 몰입해서는 안 된다. 기존 금융 벤치마크는 이를 측정할 수 없는데, 질문당 하나의 정답만으로는 모호함을 해소하는 에이전트와 흔한 해석을 추측하는 에이전트를 구분할 수 없기 때문이다. 우리는 이를 단일 정답 환상(single-gold illusion)이라 부른다. 우리는 FinInteract를 공개한다. 이는 영어/중국어 이중 언어 벤치마크로 173개 인스턴스를 포함하며, 5개 범주의 모호성 분류 체계에 따라 각 질문에 기본 해석과 의도된 해석을 짝지어 두고, 에이전트가 적절한 명확화를 이끌어낸 뒤 이를 통합하는지를 채점한다. 동일한 출력을 의도된 해석이 아닌 기본 해석으로 다시 채점하면 GPT-4o의 정확도가 3.1배 부풀려져 환상이 확인된다. 이를 넘어, 해석이 주어지면 모델은 90% 이상 답하지만 스스로 이끌어내야 할 때는 최대 28.9%에 그친다. 또한 분류 체계 전반에서 역량이 고르지 않으며 엔티티 범위(entity scope)와 지표 정의(metric definition)에서는 검정력이 충분하고 그 외 영역에서는 탐색적이다. 모호성 범주를 조건으로 두면 추론과 학습 시점 모두에서 해소 성능이 개선된다.