PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.23032v1cs.AI

IPO Finance Agent: Finance Agent v2를 넘어선 LLM 금융 애널리스트 평가와 자동화된 루브릭 생성 — SpaceX(SPCX) IPO 사례

IPO Finance Agent: Evaluation of LLM Financial Analysts beyond Finance Agent v2, with Automated Rubric Generation -- the Case of the SpaceX (SPCX) IPO

Finance Agent v2(Vals AI 개발)는 금융 태스크에서 Anthropic Claude와 OpenAI ChatGPT 프론티어 언어 모델을 평가하는 기준 벤치마크로 자리잡았다. 그러나 이 벤치마크는 공개 기업의 정기 보고서(SEC 10-K 및 10-Q 공시)만을 좁게 다루며, 에이전틱 하네스는 비정제 청크 검색에 의존한다. 태스크 설계와 검색 방식 모두 IPO 실사의 고유한 난제를 다루지 않는다. SEC S-1 공시는 과거 재무제표, 지배구조, 프로포마 및 공동지배 회계 처리, 자본 조달 서술, 인수 민감 위험 공시를 정기 공시보다 훨씬 긴 문서에 혼합하여 담고 있다. 이에 우리는 Finance Agent v2 프레임워크를 태스크 도메인과 검색 아키텍처 두 방향으로 확장한 IPO Finance Agent를 제안한다. 실험 과정에서 원본 Finance Agent v2 하네스는 문서 길이로 인해 SpaceX S-1 공시 관련 출력을 사실상 전혀 생성하지 못했다. 따라서 우리는 장문 문서에 더 현실적이고 산업 표준에 부합하는 방식인 컨텍스트 검색으로 에이전틱 하네스를 개선해야 했다. 또한 IPO 실사 질문 1,000건으로 구성된 데이터셋을 구축하고, 재현성 지원을 위해 SpaceX(SPCX) S-1 공시에 관한 70개 질문을 공개하였으며, 벤치마크 오염 방지를 위해 나머지는 비공개로 유지한다. 아울러 벤치마크 평가 루브릭을 자동 생성하는 평가자-옵티마이저 파이프라인을 도입한다. 각 질문에 대해 독립적으로 생성된 모델 답변 앙상블에서 후보 사실을 추출하고, 이를 초안 기준으로 통합한 뒤 누락, 환각, 등급 오분류, 중복을 자동 감사하며, LLM 피드백을 통해 반복 수정, 타겟 보강, 중복 제거를 수행한다. 인간 전문가는 배포 전 최종 루브릭만 검토한다. 결과에 따르면, 평가된 모델 중 최고 성능인 Alibaba Qwen 3.7 Max는 쿼리당 $0.30에 79.4% 정확도를 달성하며, Pareto 프론티어상 가장 비용 효율적인 모델인 Xiaomi MiMo-2.5 Pro는 쿼리당 $0.05에 소폭 낮은 정확도(76.8%)를 기록한다. 두 모델 모두 현재 Finance Agent v2 리더보드 최고점인 Google Gemini 3.5 Flash(쿼리당 $2.51에 57.9%)를 상회하며, 비용 효율 면에서는 FABv2 최저가 항목(MiniMax M3: $0.32에 48.3%)조차 밑돈다. 코드와 데이터는 GitHub(https://github.com/benstaf/ipoagent)에 공개되어 있다.