We identify an empirical inference-compute frontier for limit order book prediction on FI-2010. A power law fitted to low- and mid-compute models extrapolates to an excluded MLPLOB-style mixer family whose work is $56$--$2{,}515$ times the largest budget in the corresponding fit. Across nine folds and five horizons, pooled $R^2$ is $0.934$ on the realized target frontier, with 59\% lower RMSE than constant endpoint extrapolation, and $0.731$ on all excluded operating points. Measured latency gives a weaker relationship and reorders model families. We therefore design FastBiNLOB to pack computation into dense temporal and feature mixing. H120 exceeds the published state-of-the-art macro-F1 on two of four horizons in every one of five seeds. Under our CPU/MPS protocol, H96 reduces median latency by 23.6\% relative to the W128 MLPLOB reference, and H120 by 60.2\% relative to a TLOB-inspired dual-axis attention reference.
인터넷 규모 데이터로 사전학습된 대규모 언어 모델(LLM)은 예측 작업에서 lookahead bias 위험이 있으며, 이는 학습 중 이미 실제 결과를 본 적이 있을 수 있기 때문이다. 이를 해결하기 위해, 우리는 2013년부터 2024년까지 엄격한 연간 데이터 컷오프를 적용하여 각각 약 1,000억 토큰으로 처음부터 학습한 13억 매개변수 언어 모델 12개로 구성된 DatedGPT를 제시하며, 사후 학습 중 유출을 방지하기 위해 각 연도 문서에 기반한 지시(instruction) 데이터셋 DatedInstruct도 함께 제공한다. 이 모델들은 유사 규모의 오픈 모델과 경쟁력이 있으며, perplexity 기반 프로빙(probing)을 통해 각 모델의 지식이 해당 컷오프 연도에 의해 제한됨을 확인했다. 61,000개 기업-일(firm-day) 뉴스 헤드라인에 대한 주식 수익률 예측에서, DatedGPT-instruct는 lookahead bias가 없는 설정에서 연율화 Sharpe ratio 3.20을 달성한다. 학습 데이터가 결과 기간을 포함하는 lookahead bias가 있는 모델은 표준편차당 26.4bp(basis points)의 lookahead premium을 추가하며, 이는 1% 수준에서 유의하다. 따라서 이 시리즈는 금융 예측에서 lookahead bias를 직접 분석할 수 있게 한다. 우리는 서로 다른 컷오프 연도의 모델 응답을 조회하고 비교할 수 있는 대화형 웹 데모를 제공하며, 이는 www.datedgpt.com에서 이용할 수 있다.
우리는 합병 차익거래(merger arbitrage)를 위한 언어 모델 예측 시스템을 제안한다. 합병 차익거래는 발표된 M&A 거래의 결과를 예측하는 것이 과제인, 특수하고 높은 위험이 수반되는 금융 환경이다. LLM을 활용한 판단적 예측(judgmental forecasting)에 관한 기존 연구들이 광범위한 혼합 주제 벤치마크와 뉴스 단편 같은 짧은 컨텍스트에 집중해온 것과 달리, 우리는 수백 페이지에 달하는 기술 문서에 대한 긴 컨텍스트 추론이 요구되는 환경을 연구한다. 우리 시스템은 전문가가 설계한 컨텍스트 엔지니어링과, 과거 거래에서 도출된 사후 지식 기반 추론 트레이스(hindsight-guided reasoning traces)를 활용한 파인튜닝을 결합한다. 발표된 거래가 주어지면, 시스템은 상호 배타적인 세 가지 결과—발표된 조건으로 종결, 상위 입찰, 거래 종료—에 대한 확률 분포를 출력한다. 42개국에 걸쳐 400개 이상의 대형 거래로 구성된 표본 외(out-of-sample) 데이터셋에서, 우리의 파인튜닝 모델은 평가한 모든 방법 중 최고 성능을 달성하여 클래스 균형 브라이어 점수(class-balanced Brier score)를 0.151로 낮췄다. 이는 보정된 시장 내재 확률보다 24%, XGBoost보다 19%, 프론티어 언어 모델보다 25~42% 낮은 수치이다. 이러한 결과와 절제 연구(ablation studies)를 통해, LLM 기반 예측이 특화된 긴 컨텍스트 금융 워크플로에서 성공할 수 있으며, 사후 지식 기반 지도학습과 전문가 설계 컨텍스트가 핵심적인 역할을 함을 보여준다.
강화학습(RL)은 금융 트레이딩 분야에서 에이전트가 직접 시장과 상호작용하며 최적 전략을 학습할 수 있게 하는 강력한 접근법으로 부상하고 있다. 그러나 금융 시장은 확률적 변동성, 모델 한계, 체제 전환 등으로 인해 가격 변동이 발생하는 매우 불확실한 환경이다. 기존의 RL 모델은 동적 환경에서 어려움을 겪으며, 갑작스러운 시장 혼란에 적응하지 못해 최적이 아닌 트레이딩 의사결정을 초래하는 경우가 많다. 이러한 문제를 해결하기 위해, 본 연구는 분포적(distributional), 인식론적(epistemic), 우연적(aleatoric) 불확실성 추정을 통합한 불확실성 인식 RL 프레임워크를 제안한다. 제안하는 방법은 SHAP 가중 재구성 불확실성, MC 드롭아웃, 그리고 LSTM 기반 기술적 지표 합의 메커니즘을 활용하여 불확실성 추정을 강화한다. 미국 주요 주가지수 5종에 대한 실험 결과, 불확실성 추정이 적용된 RL 에이전트는 수익률과 리스크 관리 측면에서 기존 모델을 유의미하게 능가하는 것으로 나타났다. 본 연구는 RL 기반 금융 트레이딩에서의 불확실성 추정을 발전시키며, 향후 연구에서는 더 높은 적응성을 위해 다른 자산군 및 대안적 RL 아키텍처로의 적용을 확장할 예정이다.
S&P 500 월별 로그 수익률(1871–2023)을 대상으로 TimesNet, DLinear, N-BEATS, iTransformer 4종 백본과 포인트·단일 가우시안·가우시안 혼합(GMM) 출력 헤드를 비교한 결과, 단기 예측에서는 백본 교체(CRPS 변화 1.5% 미만)보다 헤드 교체(포인트→가우시안 1.3%, 가우시안→혼합 2.4% 추가 개선)의 효과가 일관되게 더 컸다. 특히 혼합 밀도 헤드는 1970년대 스태그플레이션처럼 변동성이 극도로 높은 구간에서 단일 가우시안 대비 최대 13.9%의 CRPS 개선을 보이며 꼬리 위험 포착 능력을 입증했으나, 장기 예측(h≥6)에서는 백본의 영향력이 다시 우세해지는 수평 의존적 패턴도 확인됐다.
비정상(non-stationary) 금융 시장에서의 주식 수익률 예측을 위해, 95개의 기술적 특징을 11개 의미 범주로 그룹화하고 잠재적 시장 레짐(market regime)에 따라 셀프-어텐션을 동적으로 조정하는 적응형 금융 트랜스포머(AFT)를 제안한다. AFT는 백테스팅 누수 문제를 수정하고 방향 정확도와 샤프 비율(Sharpe ratio)을 포함한 복합 손실 함수를 도입하여, 모델 파라미터를 15.2% 줄이면서도 기존 Transformer 및 순환 신경망 대비 경쟁력 있는 예측 성능을 달성한다.
금융 예측에서 예측 성능은 어떤 모델을 학습하는지뿐 아니라, 학습된 모델을 어떻게 배포하는지에도 달려 있다. 우리는 다중 시점 변동성 예측에서 이 문제를 연구한다. 우리의 출발점은, 학습된 다중 출력(MIMO) 예측기가 단일 배포 가능 예측기를 정의하지 않는다는 것이다. 추론 시점 롤아웃 규칙을 바꾸면, 동일한 학습된 모델이 서로 다른 정확도와 비용 특성을 가진 예측군을 유도한다. 20개 주식 변동성 시계열, 세 가지 예측 시점, 선형 모델부터 PatchTST에 이르는 아키텍처에 걸쳐, 비기본 롤아웃 규칙이 표준 MIMO 배포보다 종종 개선됨을 발견한다. 그러나 최적의 고정 규칙은 아키텍처와 시점에 따라 상당히 달라져, 어떤 단일 정적 대안도 신뢰할 수 없게 만든다. 따라서 우리는 유도된 규칙군에 대해 검증 기반 배포 정책을 평가한다. 주요 MSE 목표 하에서, 검증으로 선택된 단일 규칙은 기본 MIMO 대비 저비용 개선을 제공하며, 소규모 규칙 부분집합은 훨씬 낮은 추론 비용으로 더 큰 앙상블의 이점 대부분을 회복한다. 또한 정책 순위는 지표에 민감함을 발견한다. MSE로 선택된 정책이 금융 표준 변동성 손실인 QLIKE에 고르게 전이되지 않는다. 이 결과는 추론 시점 배포가 금융 예측에서 의미 있는 적응성의 원천임을 보여주며, 학습된 변동성 예측기는 아키텍처뿐 아니라 배포 정책으로도 평가되어야 함을 시사한다.
대규모 언어 모델(LLM) 에이전트는 금융 사전 지식, 기호 추론, 실행 가능한 팩터 생성, 피드백 기반 정제를 결합함으로써 알파 마이닝에 유망하다. 그러나 조합적 검색 공간, 노이즈가 있는 비정상성 피드백, 중복 발견, 과거 성공을 단순히 재사용할 때의 과적합 위험 등의 문제에 직면한다. 이를 해결하기 위해 우리는 구조화된 검색-과정 메모리(Structured Search-Process Memory)를 갖춘 자기 진화형 알파 마이닝 에이전트 AlphaMemo를 제안한다. AlphaMemo는 최종 팩터나 전체 궤적만 기억하는 대신, 특정 부모 팩터(parent-factor) 맥락에서 어떤 편집 모티프(edit motif)가 성공하거나 실패하는지에 대한 재사용 가능한 증거를 기록한다. 추상 구문 트리(AST) 차이에서 모티프를 추출하고, 검색 원장(search-ledger) 사전 분포 위에 신뢰도 게이팅(confidence-gated) 잔차 메모리를 적용하며, 비대칭 거부(veto) 제어를 통해 높은 신뢰도의 실패 패턴을 억제한다. CSI 500과 S&P 500에서의 실험은 샘플 외(out-of-sample) 성능과 고정 예산(fixed-budget) 발견 효율이 향상되었음을 보여주며, ablation을 통해 잔차 학습(residual learning), 신뢰도 게이팅, AST-diff 모티프, 거부 메모리(veto memory)의 역할이 검증되었다. 코드는 https://github.com/jarrettyu/AlphaMemo 에 있다.