arXiv:2408.02322

Consistent time travel for realistic interactions with historical data: reinforcement learning for market making

Vincent Ragel, Damien Challet

제출 2024-08-05

원문 초록

Reinforcement learning works best when the impact of the agent's actions on its environment can be perfectly simulated or fully appraised from available data. Some systems are however both hard to simulate and very sensitive to small perturbations. An additional difficulty arises when a RL agent is trained offline to be part of a multi-agent system using only anonymous data, which makes it impossible to infer the state of each agent, thus to use data directly. Typical examples are competitive systems without agent-resolved data such as financial markets. We introduce consistent data time travel for offline RL as a remedy for these problems: instead of using historical data in a sequential way, we argue that one needs to perform time travel in historical data, i.e., to adjust the time index so that both the past state and the influence of the RL agent's action on the system coincide with real data. This both alleviates the need to resort to imperfect models and consistently accounts for both the immediate and long-term reactions of the system when using anonymous historical data. We apply this idea to market making in limit order books, a notoriously difficult task for RL; it turns out that the gain of the agent is significantly higher with data time travel than with naive sequential data, which suggests that the difficulty of this task for RL may have been overestimated.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.23458v2cs.LG공통 태그 Offline RL공식 코드 · Papers with Code

확산 가이던스는 제어 가능한 정책 개선 연산자이다

Diffusion Guidance Is a Controllable Policy Improvement Operator

강화학습의 핵심에는 데이터에 담긴 성능을 넘어서는 학습이라는 개념이 있다. 그러나 이러한 시스템의 규모 확장은 매우 어려운 것으로 알려져 있다. 반면 생성 모델링 기법은 놀랍도록 확장성이 뛰어나고 학습이 간단한 것으로 입증되었다. 본 연구에서는 정책 개선과 확산 모델의 가이던스 사이의 직접적인 관계를 도출함으로써 이러한 두 강점을 결합한다. 그 결과로 얻은 프레임워크인 CFGRL은 지도 학습의 단순함으로 학습되면서도 데이터에 있는 정책을 더욱 개선할 수 있다. 오프라인 강화학습 과제에서 우리는 가이던스 가중치를 높일수록 성능이 향상되는 일관된 경향을 관찰한다. 특히 중요한 점은, CFGRL이 가치 함수를 명시적으로 학습하지 않고도 작동할 수 있어 목표 조건부 행동 복제와 같은 단순한 지도 학습 방법을 일반화하여 최적성을 더욱 우선시할 수 있으며, 전반적으로 "공짜로" 성능을 얻을 수 있다는 것이다.

arXiv:2505.22442v4cs.LG공통 태그 Offline RL공식 코드 · Papers with Code

완전 오프라인 강화학습

Fully Offline Reinforcement Learning

오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.