부분 정보를 활용한 최적 트레이딩을 위한 심층 강화학습
Deep reinforcement learning for optimal trading with partial information
강화학습(RL)은 최적 트레이딩 및 체결을 포함한 금융 분야 적용에서 점점 더 많은 관심을 받고 있습니다. 그러나 우리가 아는 한, 시장의 잠재 정보를 활용하는 최적 트레이딩 전략에 강화학습을 적용하는 연구는 거의 주목받지 못했습니다. 본 논문에서는 국면 전환(regime switching) 파라미터를 갖는 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 과정을 따르는 트레이딩 신호 환경에서의 최적 트레이딩 문제를 다룹니다. 이 문제는 자연스럽게 부분 관측 마르코프 결정 과정(POMDP)으로 정형화되며, 트레이더는 관측 가능한 과정의 이력으로부터 잠재 정보를 직접 추론해야 합니다. 우리는 문제의 필터링 및 트레이딩 구성 요소를 모두 해결하기 위해 순환 신경망(RNN)과 강화학습을 결합합니다. 구체적으로, 에이전트(agent)가 거래하는 환경(environment)의 잠재 상태를 필터링하기 위해 RNN을 결합한 세 가지 서로 다른 강화학습 기반 접근법을 제안합니다. 첫 번째는 GRU의 은닉 상태를 강화학습 트레이더에 직접 인코딩하는 1단계 접근법입니다. 두 번째와 세 번째는 2단계 방법으로, 하나는 평균 회귀 국면에 대한 사후 국면 확률 추정치를 사용하고, 다른 하나는 다음 신호 값에 대한 예측에 의존합니다. 트레이딩 신호 파라미터에 대한 점점 더 복잡한 마르코프 국면 역학을 사용한 광범위한 시뮬레이션과 주식 페어 트레이딩에 대한 실증적 적용을 통해, 잠재적인 장기 평균 회귀 국면에 대한 사후 확률 추정치를 제공하는 방식이 다른 두 접근법과 대조적으로 우수한 누적 보상을 달성하고 해석 가능성이 더 높은 전략을 보임을 확인했습니다. 전반적으로, 본 결과는 에이전트에 제공되는 정보의 질과 구조가 트레이딩 성능 및 정책 해석 가능성에 중요하다는 점을 보여줍니다.