MintEval: LLM은 당신이 요청한 트레이딩 전략을 그대로 구현하는가? 자연어-전략 코드 변환을 위한 행동 동등성 벤치마크
MintEval: Do LLMs Implement the Trading Strategy You Asked For? A Behavioural-Equivalence Benchmark for Natural-Language-to-Strategy Code
한국어 초록
대규모 언어 모델(LLM)의 역할이 트레이딩 신호 생성에서 이를 실행하는 코드를 직접 작성하는 것으로 확장되고 있습니다. 이 두 번째 역할의 실패 양상은 은밀하게(silent) 나타납니다. 생성된 코드가 정상적으로 실행되고 백테스트 결과가 시각화되지만, 트레이더가 기술한 리스크 로직이 실제로 실행되는 로직과 일치하지 않는 문제입니다. 기존 코드 벤치마크는 단위 테스트 기반의 기능적 정확성을 평가하고 금융 벤치마크는 예측력을 평가하지만, 둘 다 구현체가 요청된 전략대로 행동하는지는 측정하지 못합니다. 본 논문에서는 조합 가능한 빌딩 블록 라이브러리로부터 기준 전략을 프로그램 방식으로 생성하고, 이를 구어체 트레이더 지시문으로 역번역한 뒤, 평가 대상 모델이 재구현하도록 하는 벤치마크인 MintEval을 소개합니다. 생성된 프로그램과 기준 프로그램은 동일한 시장 데이터와 거래 비용 환경에서 봉(bar) 단위로 실행되며, 코드 유사도나 수익률 대신 행동을 기준으로 비교되므로 알파의 영향은 상쇄됩니다. MintEval v0는 BTCUSDT 15분 봉 데이터를 기반으로 한 800개의 태스크를 포함하며, 설명 길이와 분리된 실행 측정 상태 범위 복잡도 tau로 계층화되어 있습니다. 저비용 모델들은 평균 ActionMatch가 최대 0.544에 그치고 정확히 재현한 태스크는 최대 0.087에 불과했습니다. 200개 태스크로 구성된 계층화된 하위 집합에서 프론티어 모델(Claude Opus 5.5)은 0.889를 달성하고 0.575를 정확히 재현했으나, 여전히 태스크의 0.275에서 은밀한 실패를 보였습니다. 빌딩 블록 메뉴가 주어졌을 때 모델들은 전략을 거의 완벽하게 식별하지만, 명세를 올바르게 파악한 구현체의 79.2%가 활성 봉의 10% 이상에서 기준 전략과 다른 행동을 보였습니다. 최근 전략 생성 벤치마크의 LLM 판별기를 그대로 적용했을 때, 이러한 은밀한 실패 사례를 모두 정상으로 판정했습니다.
원문 초록
Large language models are moving from producing trading signals to writing the code that executes them. The failure mode of the second role is silent: generated code runs, a backtest plots, yet the risk logic that the trader described is not the logic being executed. Existing code benchmarks test functional correctness on unit tests and finance benchmarks test forecasting; neither measures whether an implementation behaves like the strategy that was asked for. We introduce MintEval, a benchmark in which reference strategies are generated programmatically from a library of composable building blocks, back-translated into colloquial trader instructions, and re-implemented by the model under test. Generated and reference programs are executed bar by bar on identical market data and frictions, and compared on their actions rather than on code similarity or profit: alpha is differenced away. MintEval v0 contains 800 tasks on BTCUSDT 15-minute data, stratified by an execution-measured state-span complexity tau that is decoupled from description length. Low-cost models reach a mean ActionMatch of at most 0.544 and reproduce at most 0.087 of tasks exactly; on a stratified subset of 200 tasks a frontier model (Claude Opus 5.5) reaches 0.889 and reproduces 0.575 exactly, yet still fails silently on 0.275 of tasks. Given a menu of building blocks, models identify the strategy almost perfectly, yet 79.2% of the implementations whose specification was read correctly diverge on more than 10% of active bars. The LLM judge of a recent strategy-generation benchmark, applied verbatim, accepts every one of these silent failures.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
5 pages, 3 figures, benchmark code and evaluation harness available at https://github.com/spearmintai/minteval. Siyu Wang and Varstern Yifan Wang contributed equally, Yifig Wang is corresponding author