금융 AI 에이전트(agent)는 단순한 사실 검색 이상의 작업을 수행해야 합니다. 투자 워크플로우에는 정확한 정량적 실행, 절차적 리소스의 신뢰성 있는 활용, 감사 가능한 구조화된 출력이 요구됩니다. 본 논문에서는 포트폴리오 구성, 리스크 관리, 펀더멘털 분석 전반의 12개 하위 작업에 걸쳐 2,603개의 시점별(point-in-time) 에피소드로 구성된 평가(evaluation) 스위트인 FinSkillBench를 소개합니다. 이는 비공개 재생성 가능한 정답(ground truth) 및 작업별 결정론적 검증기를 갖추고 있습니다. 9개 모델(model)과 3가지 리소스 조건에 걸쳐 17,820개의 에피소드를 실행한 결과, 8개 모델에 대한 대응 분석(paired analysis)에서 큐레이션된 스킬 패키지가 평균 점수를 +16.2점(0.366에서 0.528로) 향상시킨 반면, 단일 에피소드 내에서 생성된 스킬은 더 많은 토큰(token)과 턴(turn)을 소모하면서도 단 +0.5점만을 추가하는 것으로 나타났습니다. 이어 사람이 작성한 절차적 문서와 실행 가능한 도메인 도구를 분리하여 제공함으로써 큐레이션된 프리미엄을 분해해 보았습니다. 문서 단독으로는 +5.6점이 추가되었고, 도구 단독으로는 +19.5점이 추가되었으며, 이 둘의 조합은 준가법적(subadditive)인 효과를 보였습니다. 이러한 프리미엄은 워크플로우에 크게 의존합니다. 실행 가능한 도구는 수치 집약적인 워크플로우를 지배하고, 절차나 출력 스키마 가이드가 병목일 때는 문서화가 더 중요해지며, 해석 작업은 두 가지 모두로부터 이점을 얻습니다. 이러한 효과는 10가지 점수 산정 변형 및 클러스터 부트스트랩 분석 전반에서 부호 안정성(sign stability)을 보였으며, 독립적으로 구현된 두 번째 하네스에서도 도구와 데이터가 어떻게 노출되는지에 따라 효과의 크기가 달라짐을 보여주면서도 방향성 패턴을 재현했습니다. 전반적으로 측정된 '스킬 프리미엄'은 기반 모델 자체만의 속성이기보다는 모델, 리소스, 하네스를 아우르는 전체 시스템의 속성입니다.
도구를 사용하는 에이전트는 기록된 실행은 달라지면서 최종 결정을 반복할 수 있다. 우리는 결정 반복 가능성, 궤적 일치, 증거 조건부 충실성(evidence-conditioned faithfulness)을 구분하는 프레임워크인 결정론-충실성 보증 하네스(Determinism-Faithfulness Assurance Harness, DFAH)를 제안한다. 과제 정확성(task correctness)은 별도로 한정된 라벨과 평가가 필요하며, 증거 조건부 충실성은 과거 v2 에이전틱 실험에서 평가되지 않았다. 원 v2 연구는 세 가지 합성 금융 과제에서 4,705회의 에이전틱 실행과 21개 모델-벤치마크 구성 요약 전반에 걸친 결정-결정론/과제-라벨 일치 상관 r = -0.11을 보고했다. 이 통계는 과거 구성 테이블에서 재현 가능하지만, 이후 제외된 포트폴리오 픽스처(portfolio fixture)를 포함한다. 이는 통계적 독립성, 예측적 무용성, 또는 구조적 결정론-정확도 트레이드오프의 증거가 아니라 역사적 기술로 보존된다. 기록된 결정 집중과 도구 경로(tool-path) 변동은 숨겨진 모델 전략을 식별하지 않는다. 이번 정정은 과거 증거를 한정하고, 그러한 근거 없는 해석에서 도출된 배포 권고를 제거한다. 별도의 수정 연구인 DFAH-Bench(arXiv:2607.20491)는 결정/경로 불일치에 대한 한정된 증거를 제공한다. 여기서 유지되는 기여는 측정 프레임워크이다. 반복 가능성, 관측 가능한 실행, 증거 정렬, 정확성은 명시적 포착과 연구 경계와 함께 서로 다른 증거를 요구한다.
대규모 언어 모델(LLM) 기반 에이전트가 포트폴리오 구성 및 시장 분석에 참여하기 시작하고 있으며, 이 영역에서는 진화하는 정보와 리스크 제약 하에 의사결정의 근거를 제시해야 한다. 그러나 현행 평가 관행은 이러한 환경과 잘 맞지 않는다. 많은 연구들이 정적인 검토에 의존하거나 최종 포트폴리오 수익률만을 보고하는 반면, 그 수익률을 산출한 중간 근거, 애널리스트 판단, 실행 단계는 대부분 불투명한 채로 남아 있다. 우리는 실시간 시장 조건 하에서 금융 에이전트의 행동을 관측 가능하게 만드는 평가 플랫폼 NextFund를 소개한다. 이 플랫폼은 시간 일관성 있는 시장 접근, 조율된 멀티 에이전트 분석, 그리고 관측에서 거래까지 전체 의사결정 경로의 지속적 로깅을 결합한다. 인터랙티브 Trading Arena를 통해 사용자는 여러 시장에 걸쳐 모델을 비교하고, 자산 곡선을 검토하며, 리더보드 결과에서 개별 근거까지 세부적으로 탐색할 수 있다. 우리는 홍콩, 미국, 중국 A주 주식시장을 대상으로 NextFund를 시연하며, 검사 가능한 의사결정 이력이 어떻게 더 공정한 벤치마킹과 실질적인 진단을 가능하게 하는지 보여준다. 데모는 https://paradoox.cn/nextfund/ 에서 확인할 수 있다.
자율 금융 에이전트로 배포된 LLM이 시장 컨텍스트가 누적될수록 초기에 부여받은 행동 지침(예: "자본 보전")을 점차 이행하지 않게 되는 지침 현저성 감쇠(Mandate Salience Decay, MSD) 현상을 정량화하기 위해, 관측 가격과 숨겨진 내재 가치를 분리한 합성 시장 환경 기반의 시뮬레이션 벤치마크 FinPersona-Bench를 제안한다. 18개의 주요 LLM을 평가한 결과 MSD는 시간이 지날수록 심화되며, 급락 시나리오에서 주기적 지침 재강조(re-grounding)는 보수적 에이전트에는 효과적이지만 공격적 에이전트의 행동은 오히려 악화시켜, 에이전트 프로파일과 시장 상황에 맞춘 선택적 재강조 전략이 필요함을 보인다.