PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03564v1cs.AI

지식인가 계산기인가? 검증 가능한 금융 에이전트 워크플로우에서 스킬 프리미엄 분해하기

Knowledge or Calculator? Decomposing the Skill Premium in Verifiable Financial Agent Workflows

금융 AI 에이전트(agent)는 단순한 사실 검색 이상의 작업을 수행해야 합니다. 투자 워크플로우에는 정확한 정량적 실행, 절차적 리소스의 신뢰성 있는 활용, 감사 가능한 구조화된 출력이 요구됩니다. 본 논문에서는 포트폴리오 구성, 리스크 관리, 펀더멘털 분석 전반의 12개 하위 작업에 걸쳐 2,603개의 시점별(point-in-time) 에피소드로 구성된 평가(evaluation) 스위트인 FinSkillBench를 소개합니다. 이는 비공개 재생성 가능한 정답(ground truth) 및 작업별 결정론적 검증기를 갖추고 있습니다. 9개 모델(model)과 3가지 리소스 조건에 걸쳐 17,820개의 에피소드를 실행한 결과, 8개 모델에 대한 대응 분석(paired analysis)에서 큐레이션된 스킬 패키지가 평균 점수를 +16.2점(0.366에서 0.528로) 향상시킨 반면, 단일 에피소드 내에서 생성된 스킬은 더 많은 토큰(token)과 턴(turn)을 소모하면서도 단 +0.5점만을 추가하는 것으로 나타났습니다. 이어 사람이 작성한 절차적 문서와 실행 가능한 도메인 도구를 분리하여 제공함으로써 큐레이션된 프리미엄을 분해해 보았습니다. 문서 단독으로는 +5.6점이 추가되었고, 도구 단독으로는 +19.5점이 추가되었으며, 이 둘의 조합은 준가법적(subadditive)인 효과를 보였습니다. 이러한 프리미엄은 워크플로우에 크게 의존합니다. 실행 가능한 도구는 수치 집약적인 워크플로우를 지배하고, 절차나 출력 스키마 가이드가 병목일 때는 문서화가 더 중요해지며, 해석 작업은 두 가지 모두로부터 이점을 얻습니다. 이러한 효과는 10가지 점수 산정 변형 및 클러스터 부트스트랩 분석 전반에서 부호 안정성(sign stability)을 보였으며, 독립적으로 구현된 두 번째 하네스에서도 도구와 데이터가 어떻게 노출되는지에 따라 효과의 크기가 달라짐을 보여주면서도 방향성 패턴을 재현했습니다. 전반적으로 측정된 '스킬 프리미엄'은 기반 모델 자체만의 속성이기보다는 모델, 리소스, 하네스를 아우르는 전체 시스템의 속성입니다.