arXiv:2611.22085v1 cs.AI

ATLAS-Finance: 실제 업무를 반영한 은행 환경에서 AI 에이전트 평가

ATLAS-Finance: Benchmarking AI Agents in Realistic Banking Environments

Elaine Lau, Antoine Pangas, Alexandre Finot, Collin Schweiker, Amir Bouzidi, Hui Wen Goh, Andrew Peter Martin, Jonas Mueller

제출 2026-11-18

한국어 초록

전문 업무에서는 지시가 충분히 구체적이지 않고 필요한 정보가 여러 업무 앱에 흩어져 있으며, 정보가 서로 충돌하거나 시간이 지나면서 바뀔 수 있다. 이러한 환경에서 최신 에이전트가 경제적 가치가 있는 일을 얼마나 잘 수행하는지 평가하기 위해 ATLAS-Finance를 소개한다. 이 벤치마크는 모의 기업 13곳의 종단 간 투자은행 과제 100개로 구성된다. 실제 은행 업무와 같이 에이전트는 이메일, 채팅, 일정, 메모, 파일을 검색하여 요구사항을 파악하고 정보를 수집한다. 서로 맞지 않거나 갱신된 정보를 정리한 뒤 복잡한 재무 모델을 작성해야 한다. 투자은행 실무 경력자가 실제 거래 업무를 바탕으로 과제를 만들었으며, 실무자가 과제 하나를 완수하는 데 15~30시간이 든다. 전문가가 작성한 채점표로 재무적 근거와 결과, 스프레드시트 구성, 완전성 및 서식을 평가한다. 채점 기준은 과제당 중앙값 124.5개다. 현재 에이전트는 요청된 작업의 상당 부분을 수행하지만 올바른 결과물을 만드는 경우는 드물다. 최신 모델 중 성능이 가장 높은 Claude Opus와 Fable도 과제 통과율이 11% 미만이다.

원문 초록

Professional work involves under-specified assignments, where relevant information is spread across workplace applications and may conflict or change over time. To evaluate how well frontier agents can perform economically valuable work in such settings, we introduce ATLAS-Finance, a benchmark of 100 end-to-end investment-banking tasks across 13 simulated firms. As in real banking workflows, agents must search email, chat, calendars, notes, and files to identify requirements, gather information, reconcile conflicts/updates, and then build complex financial models. Tasks were developed by experienced bankers based on their real deal work and take them 15-30 hours to complete. Agent deliverables are evaluated with expert-authored rubrics (median: 124.5 criteria) covering financial rationale and results, spreadsheet construction, completeness, and formatting. Despite completing substantial portions of the requested work, current agents rarely produce correct deliverables. Across today's frontier models, the best ones (Claude Opus and Fable) pass fewer than 11% of tasks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22085v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.