Hierarchical Reinforced Trader (HRT): A Bi-Level Approach for Optimizing Stock Selection and Execution
원문 초록
Leveraging Deep Reinforcement Learning (DRL) in automated stock trading has shown promising results, yet its application faces significant challenges, including the curse of dimensionality, inertia in trading actions, and insufficient portfolio diversification. Addressing these challenges, we introduce the Hierarchical Reinforced Trader (HRT), a novel trading strategy employing a bi-level Hierarchical Reinforcement Learning framework. The HRT integrates a Proximal Policy Optimization (PPO)-based High-Level Controller (HLC) for strategic stock selection with a Deep Deterministic Policy Gradient (DDPG)-based Low-Level Controller (LLC) tasked with optimizing trade executions to enhance portfolio value. In our empirical analysis, comparing the HRT agent with standalone DRL models and the S&P 500 benchmark during both bullish and bearish market conditions, we achieve a positive and higher Sharpe ratio. This advancement not only underscores the efficacy of incorporating hierarchical structures into DRL strategies but also mitigates the aforementioned challenges, paving the way for designing more profitable and robust trading algorithms in complex markets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DocHRL: 비용 최적화 문서 분류를 위한 계층적 강화학습 프레임워크
DocHRL: A Hierarchical Reinforcement Learning Framework for Cost-Optimised Document Classification
실제 문서 분류 파이프라인은 일반적으로 복잡도나 유형과 관계없이 들어오는 모든 문서에 동일한 모델 시퀀스를 적용한다. 이로 인해 연산 자원과 인적 자원이 비효율적으로 사용된다: 단순한 문서는 과도하게 처리되는 반면, 어려운 문서는 충분한 검토를 받지 못할 수 있다. 우리는 문서별로 가장 비용 효율적인 분류 정책을 적응적이고 동적으로 선택하는 방법을 학습하는 계층적 강화학습 프레임워크인 DocHRL을 제안한다. DocHRL은 문서 분류를 2단계 정책 계층을 갖는 순차적 의사결정 문제로 공식화한다: 상위 수준 정책은 광범위한 옵션(비전 분류기, LLM, OCR, 인간 개입 검토) 중에서 선택하고, 옵션별 하위 정책은 호출할 구체적인 모델이나 도구를 선택한다. 보상 신호는 추론 비용, 오분류 비용, 인간 라벨링 비용을 포착하는 총 기대 비용의 음수이다. RVL-CDIP 벤치마크에서 Proximal Policy Optimisation으로 학습된 DocHRL은 16개 문서 클래스에 걸쳐 macro F1 0.973을 달성하는 동시에, 고정된 독립형 분류기가 발생시키는 훨씬 높은 비용과 비교하여 문서당 평균 비용을 2.74 정규화 단위로 줄인다. 우리 결과는 비용 인식 강화학습이 문서 이해 시스템에서 분류 성능과 운영 효율성을 동시에 향상시킬 수 있음을 보여준다.
Reasoning on a Budget: Miniaturizing DeepSeek R1 with SFT-GRPO Alignment for Instruction-Tuned LLMs
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
Solving Dynamic Traveling Salesman Problems With Deep Reinforcement Learning
D3PG: Dirichlet DDPG for Task Partitioning and Offloading With Constrained Hybrid Action Space in Mobile-Edge Computing
Resource allocation algorithm for MEC based on Deep Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.