arXiv:2411.12746

A Review of Reinforcement Learning in Financial Applications

Yahui Bai, Yuhe Gao, Runzhe Wan, Sheng Zhang, Rui Song

제출 2024-11-01

원문 초록

In recent years, there has been a growing trend of applying Reinforcement Learning (RL) in financial applications. This approach has shown great potential to solve decision-making tasks in finance. In this survey, we present a comprehensive study of the applications of RL in finance and conduct a series of meta-analyses to investigate the common themes in the literature, such as the factors that most significantly affect RL's performance compared to traditional methods. Moreover, we identify challenges including explainability, Markov Decision Process (MDP) modeling, and robustness that hinder the broader utilization of RL in the financial industry and discuss recent advancements in overcoming these challenges. Finally, we propose future research directions, such as benchmarking, contextual RL, multi-agent RL, and model-based RL to address these challenges and to further enhance the implementation of RL in finance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Decision Making, Reinforcement Learning (RL), Benchmarking

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.10833v1cs.AI공통 태그 Decision Making, Reinforcement Learning (RL), Benchmarking

시간 내 완수: 기한을 준수하며 생산적인 시간 제한형 AI 에이전트를 향하여

On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents

본 연구에서는 소형 대규모 언어 모델(LLM) 에이전트가 할당된 실행 시간을 준수하면서 주어진 시간을 생산적으로 활용함으로써, 명시적인 실제 시간(wall-clock time) 예산 하에서 효과적으로 작동할 수 있는지 탐구합니다. 추가 계산 시간이 성능을 의미 있게 향상시킬 수 있는 두 가지 에이전트 벤치마크인 MLE-Bench Lite의 5개 대회에서 Qwen3.6-27B를, Zork I(Jericho)에서 Qwen3-4B를 평가합니다. 예산이 프롬프트에만 명시되는 가장 단순한 설정에서는 에이전트가 명시된 예산을 통제된 시간 활용으로 전환하는 데 실패합니다. 이러한 실패는 하네스(harness)가 타이밍 피드백을 제공하지 않아 발생하는 시간 인지의 공백뿐만 아니라, 행동의 소요 시간을 안정적으로 예측하지 못하고 가용 시간에서 적절한 전략으로 이어지는 학습된 매핑이 부재하기 때문에 발생합니다. 저자들은 두 가지 상호보완적인 개입 방식을 조사합니다. 즉, 시간 정보를 노출하고 마감 기한을 강제하는 하네스 기반 메커니즘과 예산을 인식하는 보상을 적용한 강화학습(RL)입니다. 하네스를 통해 시간 정보를 주입하면 성능의 측정 가능한 손실 없이 Qwen3.6-27B의 예산 준수도가 크게 향상되며, 강제 훅(enforcement hook)을 적용하면 준수도가 더욱 엄격해집니다. GRPO를 활용한 강화학습은 Zork I에서 거의 완벽한 예산 준수를 달성하고 학습 중 보지 못한 미확인(held-out) 예산에도 일반화되지만, MLE-Bench에서 학습되지 않은 하네스 대비 작업 성능을 향상시키지는 못합니다. 에이전트가 예산을 준수하도록 만든 후에도, 추가 시간을 작업 성능 향상에 활용하는 데는 여전히 실패합니다. 강화학습으로 학습된 정책은 종료 시점을 학습하지만 남는 시간을 반복적인 행동으로 채우는 경우가 많으며, 여러 예산에 대한 GRPO 학습은 가장 짧은 예산에 대해 학습된 전략으로 수렴(collapse)하는 경향을 보입니다. 본 연구 결과는 시간 준수와 생산적인 시간 배분 사이의 격차를 드러내며, 이는 예산 조건부 에이전트의 핵심 과제로 남아 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.