연속시간 강화학습을 이용한 평균-분산 포트폴리오 선택: 알고리즘, 후회 분석 및 실증 연구
Mean--Variance Portfolio Selection by Continuous-Time Reinforcement Learning: Algorithms, Regret Analysis, and Empirical Study
한국어 초록
본 연구는 주가가 관측 가능한 요인에 의해 구동되는 확산 과정이고 그 요인 또한 확산 과정이나 이들 과정의 계수는 알려지지 않은 시장에서의 연속시간 평균-분산 포트폴리오 선택을 다룬다. 최근 개발된 확산 과정에 대한 강화학습(RL) 이론에 기반하여, 시장 계수를 학습하거나 추정하려는 시도 없이 사전 약속된 투자 전략을 직접 학습하는 일반적인 데이터 기반 RL 접근법을 제시한다. 요인이 없는 다중 종목 Black–Scholes 시장에 대해서는 알고리즘을 추가로 고안하고, 샤프 비율 측면에서 준선형 후회 상界를 도출하여 그 성능 보장을 증명한다. 이어서 이 알고리즘을 구현한 광범위한 실증 연구를 수행하여, S&P 500 구성 종목에서 널리 쓰이는 다수의 포트폴리오 배분 전략과 성능 및 거래 특성을 여러 일반적 지표로 비교한다. 결과는 제안한 연속시간 RL 전략이 특히 변동성이 큰 약세장에서 일관되게 최상위권에 속하며, 모형 기반 연속시간 대응 전략을 상당한 차이로 확실히 능가함을 보여준다.
원문 초록
We study continuous-time mean--variance portfolio selection in markets where stock prices are diffusion processes driven by observable factors that are also diffusion processes, yet the coefficients of these processes are unknown. Based on the recently developed reinforcement learning (RL) theory for diffusion processes, we present a general data-driven RL approach that learns the pre-committed investment strategy directly without attempting to learn or estimate the market coefficients. For multi-stock Black--Scholes markets without factors, we further devise an algorithm and prove its performance guarantee by deriving a sublinear regret bound in terms of the Sharpe ratio. We then carry out an extensive empirical study implementing this algorithm to compare its performance and trading characteristics, evaluated under a host of common metrics, with a large number of widely employed portfolio allocation strategies on S\&P 500 constituents. The results demonstrate that the proposed continuous-time RL strategy is consistently among the best, especially in a volatile bear market, and decisively outperforms the model-based continuous-time counterparts by significant margins.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2412.16175v5제출 시각 미확인
- arXiv:2412.16175v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
High-Throughput Distributed Reinforcement Learning via Adaptive Policy Synchronization
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
Bridging the Gap in Vision Language Models in Identifying Unsafe Concepts Across Modalities
Exploring the robustness of TractOracle methods in RL-based tractography
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
Deep Reinforcement Learning with Gradient Eligibility Traces
토론
이 논문과 연결된 포럼 글이 아직 없습니다.