정량적(quantitative) 트레이딩 전략 설계는 과거 데이터로부터 미래 시장에서도 유효하게 유지되는 트레이딩 프로그램을 발견하는 것을 목표로 하며, 이는 블랙박스 프로그램 최적화 문제로 볼 수 있습니다. 대규모 언어 모델(LLM) 기반의 텍스트 그래디언트(textual gradient)는 반복적인 전략 개선을 위한 명시적인 최적화 방향을 제공함으로써 유망한 접근 방식을 제시합니다. 그러나 텍스트 그래디언트를 직접 적용하는 데에는 두 가지 과제가 존재합니다: (1) 최적화가 근시안적이어서 이전 평가 경험을 충분히 활용하지 못한다는 점, 그리고 (2) 종합적인 백테스트 피드백이 시간적 강건성(temporal robustness)을 간과하여 특정 시장 기간에만 우수한 성능을 보이는 전략을 선호할 가능성이 있다는 점입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 강건한 트레이딩 전략 최적화를 위한 경험 유도 텍스트 그래디언트 프레임워크인 TradeGrad를 제안합니다. TradeGrad는 축적된 최적화 경험을 활용하여 텍스트 그래디언트를 추정하고, 전략 탐험과 정밀 개선을 모두 달성하기 위해 다중 스케일 수정을 사용합니다. 또한, 불리한 과거 기간에서의 성능을 강조하여 시간적 강건성을 촉진하는 기간 교차 강건 목적함수(CPRO)를 도입합니다. 중국 A주 및 미국 주식 시장에서의 횡단면(cross-sectional) 및 시계열(time-series) 전략 설계를 대상으로 한 실험 결과, TradeGrad는 네 가지 설정 모두에서 가장 우수한 표본 내(in-sample) 및 표본 외(out-of-sample) 성능을 달성함을 보여줍니다. 특히, 중국 횡단면 전략에서는 연환산 수익률 27.99%, 최대 낙폭(MDD) 12.19%, 샤프 지수(Sharpe ratio) 1.63을 달성하여 CSI 300 벤치마크 대비 약 68% 높은 성능을 기록했습니다. 추가 분석을 통해 제안된 구성 요소들의 유효성을 입증하고, 최적화 전반에 걸쳐 표본 내 및 표본 외 성능이 일관되게 향상됨을 확인했습니다. 코드는 https://github.com/transcend-0/TradeGrad 에서 확인할 수 있습니다.
금융 지표는 기업 가치 평가(valuation), 위험 평가, 경제 분석 등 다양한 다운스트림 작업을 위해 원시 금융 데이터를 해석 가능한 측정치로 변환하는 필수 도구입니다. 그러나 기존 금융 벤치마크는 주로 최종 답변 수준의 정확도에 초점을 맞추며 관련 데이터가 이미 제공되어 있다고 가정하는 경우가 많아, 지표 구축의 중간 과정에 대한 평가는 충분히 탐색되지 않았습니다. 본 연구에서는 엔드투엔드(end-to-end) 금융 지표 구축에서 딥 리서치(Deep Research, DR) 에이전트를 평가하는 데 특화된 최초의 벤치마크인 FinDeepIndicator를 제안합니다. 구체적으로 FinDeepIndicator는 공식 명세, 데이터 수집, 지표 계산, 답변 생성이라는 지표 구축의 4단계에 걸쳐 DR 에이전트를 평가하며, 21개의 세부 하위 범주로 구성된 기본적·기술적·거시경제적 지표를 다룹니다. 이 벤치마크는 미국 및 중국 시장, 10년간의 과거 금융 데이터, 800개 상장 기업에서 추출한 정제된 3,350개의 질의응답(QA) 쌍을 포함합니다. 검색 기능이 탑재된 대규모 언어 모델(LLM)과 DR 에이전트를 대상으로 한 광범위한 실험 결과, LLM은 공식 명세 단계에서는 전반적으로 우수한 성능을 보였으나 데이터 검색 및 수치 계산 실행 단계에서는 정확도가 크게 떨어졌습니다. DR 에이전트는 검색 기능 탑재 LLM을 일관되게 능가했음에도 불구하고, 실제 금융 분석 환경에서는 여전히 신뢰성이 부족했습니다. 이러한 결과는 금융 분야에서 더욱 유능하고 신뢰할 수 있는 DR 에이전트를 개발하기 위한 통찰을 제공합니다.
대규모 언어 모델(LLM) 에이전트의 최근 발전은 자동화된 지식 발견에서 뛰어난 잠재력을 보여주었습니다. 그러나 AI의 지식 발견 역량을 엄밀하게 평가하는 것은 여전히 중요한 과제로 남아 있습니다. 기존 벤치마크는 주로 정적 데이터셋에 의존하므로, 모델이 학습(training) 중에 평가 대상 지식을 이미 접했을 가능성이 높은 불가피한 데이터 오염이 발생합니다. 나아가 현대 LLM의 빠른 출시 주기로 인해 정적 벤치마크는 금세 구식이 되며, 진정으로 새로운 지식을 발견하는 능력을 평가하지 못합니다. 이러한 한계를 해결하기 위해, 우리는 AI의 생물학 지식 발견 능력을 평가하도록 설계된 동적 완전 자동화 벤치마크인 DBench-Bio를 제안합니다. DBench-Bio는 세 단계 파이프라인을 채택합니다: (1) 엄격하고 권위 있는 논문 초록의 데이터 수집, (2) LLM을 활용해 과학적 가설 질문과 그에 대응하는 발견 답변을 종합하는 QA 추출, (3) 관련성, 명확성, 핵심성을 기준으로 품질을 보장하는 QA 필터. 우리는 이 파이프라인을 구체화하여 12개의 생명과학 하위 분야를 포괄하는 월 단위 업데이트 벤치마크를 구축했습니다. SOTA 모델에 대한 광범위한 평가는 새로운 지식을 발견하는 데 있어 현재 모델들의 한계를 드러냅니다. 본 연구는 AI 시스템의 새로운 지식 발견 역량을 평가하기 위한 최초의 동적 자동화 프레임워크를 제공하며, AI 연구 커뮤니티가 지식 발견의 발전을 촉진할 수 있도록 살아 숨 쉬며 진화하는 자원을 구축합니다.