AStockArena: 수익률을 넘어, 금융 에이전트의 결정에 실제 자본을 맡길 수 있는가?
AStockArena: Beyond Returns, Can We Entrust Real Capital to the Decisions of Financial Agents?
한국어 초록
대규모 언어 모델(LLM)은 동적 금융 거래에 점점 더 많이 사용되고 있으나, 실시간 거래 벤치마크는 주로 누적 수익률과 위험 조정 성과로 에이전트를 평가한다. 이러한 결과 지표만으로는 거래가 충실하게 보고되었는지, 이용 가능한 증거로 뒷받침되는지, 계좌 상태와 일관되는지를 알 수 없다. 본 논문은 중국 A주 시장에서의 연속 거래를 위한 실시간 의사결정 감사 벤치마크 AStockArena를 제안한다. 공유된 시장 조건과 체결 제약 하에서 개방형 및 폐쇄형 모델 13개를 대상으로 3,198건의 순차적 결정을 평가한다. AStockArena는 보고서, 거래 요청, 체결 응답, 계좌 상태를 정렬하여 계좌에 실제로 반영된 행동을 재구성하고, 체결 추적 가능성(O), 증거 충분성(RK), 금융 메타 인식(B)에 걸친 여덟 가지 검사로 이를 감사하며, 기록 검증과 합의 기반 전문가 주석을 결합한다. 거래 시점 1,070개 중 72.99%가 하나 이상의 감사 공백을 보이며, 모델별 비율은 52.2%에서 91.2%에 이르고 증거 공백이 가장 흔하다. 과거 거래 필터링 재생 실험은 포트폴리오 성과가 이렇게 표시된 거래에 민감함을 추가로 보여 준다. 따라서 의사결정 과정 감사는 금융 에이전트에 대한 수익률 기반 평가를 보완하는 검증 가능한 수단을 제공한다.
원문 초록
Large language models (LLMs) are increasingly used in dynamic financial trading, yet real-time trading benchmarks mainly evaluate agents by cumulative returns and risk-adjusted performance. Such outcome metrics cannot show whether trades are faithfully reported, supported by available evidence, and consistent with account states. We introduce AStockArena, a real-time decision-auditing benchmark for continuous trading in China's A-share market. Under shared market conditions and execution constraints, we evaluate 13 open- and closed-source models over 3,198 sequential decisions. AStockArena reconstructsthe actions actually posted to accounts by aligning reports, trade requests, execution responses, and account states, and audits them with eight checks spanning execution traceability (O), evidence sufficiency (RK), and financial meta-awareness (B), combining record verification with consensus expert annotation. Of 1,070 trading points, 72.99% exhibit at least one audit gap; model-level rates range from52.2% to 91.2%, with evidence gaps most prevalent. Historical trade-filtering replay further shows thatportfolio outcomes are sensitive to these flagged trades. Decision-process auditing thus offers a verifiable complement to return-based evaluation of financial agents.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.00515v2제출 시각 미확인
- arXiv:2611.00515v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.