arXiv:2610.01325v1 cs.AI

PPO-HRAP: 위험 제어 트레이딩을 위한 하이브리드 국면 인식 정책 기반 근접 정책 최적화

PPO-HRAP: Proximal Policy Optimization with a Hybrid Regime-Aware Policy for Risk-Controlled Trading

Duong Hien Chi Kien, Thanh Trung Huynh

제출 2026-10-01

저자 비고

arXiv Comments

8 pages, 6 figures, 8 tables. Code: https://github.com/chikien07012006/PPO_Regime-Aware-Trading

한국어 초록

트레이딩을 위한 강화학습(RL)은 상승장 참여와 낙폭(drawdown) 제어 사이의 균형을 맞추는 데 종종 어려움을 겪습니다. 수익만을 추구하는 정책은 상승 추세 자산에 대해 수동적인 매수 포지션(long exposure)으로 귀결될 수 있는 반면, 위험에 대해 과도한 페널티를 부과하는 보상은 변동성 국면에서 지나치게 방어적으로 변할 수 있습니다. 본 논문에서는 근접 정책 최적화(PPO)와 해석 가능한 국면 사전 지식(regime prior)을 결합한 하이브리드 국면 인식 정책인 PPO-HRAP을 제안합니다. 에이전트는 시장 특성과 포트폴리오 상태 변수를 모두 관측하고, 포트폴리오 로그 수익률, VIX 조건부 낙폭 증가 페널티, 목표 익스포저 편차 및 회전율 비용을 결합한 보상을 받으며, PPO 액터 출력과 국면에서 도출된 목표 익스포저를 혼합한 행동을 실행합니다. 2020-2022년의 SPY 분리 테스트 기간 동안, PPO-HRAP은 27.62%의 총수익률, 8.48%의 연율화 수익률, 0.6447의 샤프 비율(Sharpe ratio), 0.8588의 소르티노 비율(Sortino ratio), 0.4592의 칼마 비율(Calmar ratio)을 달성하는 동시에, 매수 후 보유(Buy and Hold) 방식의 최대 낙폭을 34.10%에서 18.47%로 줄였습니다. 5개의 SPY 시드 전반에 걸쳐 PPO-HRAP은 평균 총수익률 $0.2725 \pm 0.0109$, 평균 샤프 비율 $0.6219 \pm 0.0565$로 안정성을 유지했습니다. QQQ 및 DIA에 대한 단일 실행 교차 자산 테스트에서도 제안된 방법이 보고된 세 가지 자산 모두에서 총수익률과 샤프 비율 기준 1위를 기록함을 보여줍니다. 이러한 결과는 학습된 행동과 변동성 인식 국면 사전 지식을 혼합하는 것이 위험 조정 트레이딩 동작을 개선하는 실용적인 방법임을 시사하지만, 현재 정책은 여전히 높은 회전율을 수반하며 SPY를 넘어선 교차 자산 견고성은 단일 실행 증거로 제한되어 있습니다.

원문 초록

Reinforcement learning for trading often struggles to balance upside participation with drawdown control. Profit-only policies can collapse toward passive long exposure on upward-drifting assets, while aggressively risk-penalized rewards can become too defensive during volatile periods. This paper proposes PPO-HRAP, a hybrid regime-aware policy that combines Proximal Policy Optimization with an interpretable regime prior. The agent observes both market features and portfolio-state variables, receives a reward combining portfolio log return, VIX-conditioned drawdown-increase penalty, target-exposure deviation, and turnover cost, and executes a blended action between the PPO actor output and a regime-derived target exposure. On the held-out 2020-2022 SPY test window, PPO-HRAP achieves 27.62% total return, 8.48% annualized return, 0.6447 Sharpe ratio, 0.8588 Sortino ratio, and 0.4592 Calmar ratio, while reducing maximum drawdown from 34.10% for Buy and Hold to 18.47%. Across five SPY seeds, PPO-HRAP remains stable with mean total return $0.2725 \pm 0.0109$ and mean Sharpe ratio $0.6219 \pm 0.0565$. Single-run cross-asset tests on QQQ and DIA further show that the proposed method ranks first on total return and Sharpe ratio for all three reported assets. These results suggest that blending learned actions with a volatility-aware regime prior is a practical way to improve risk-adjusted trading behavior, although the current policy still incurs high turnover and cross-asset robustness beyond SPY remains limited to single-run evidence.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01325v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03598v1q-fin.TR공통 태그 Deep Reinforcement Learning, Algorithmic Trading, reinforcement learning rl, proximal policy optimization

올바른 보상만으로는 충분하지 않을 때: 해석적으로 풀린 브로커-트레이더 게임에서 PPO 진단 및 유도

When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game

복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.

arXiv:2610.02505v1cs.LG공통 태그 Deep Reinforcement Learning, proximal policy optimization

다중 신뢰도 정책 그래디언트를 통한 데이터 부족 강화학습 안정화

Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning

온-정책(on-policy) 강화학습(RL)을 위한 정책 그래디언트(policy gradient) 방법은 비용이 많이 들고 희소한 목표 도메인(target-domain) 데이터가 잡음이 많은 그래디언트 추정치를 낳을 때 불안정해질 수 있다. 본 연구는 제한적인 고신뢰도(high-fidelity, HF) 목표 도메인 데이터를, 단순화된 시뮬레이터 등에서 얻을 수 있는 풍부하고 저렴하지만 편향된 저신뢰도(low-fidelity, LF) 데이터로 보완함으로써 이 문제를 해결한다. 대부분의 기존 방법은 LF 데이터에 기반한 편향된 목적함수를 직접 최적화한다. 이와 달리, 최근 제안된 다중 신뢰도 정책 그래디언트(multi-fidelity policy gradient, MFPG) 프레임워크는 LF 데이터를 오직 분산을 줄이고 HF 데이터 효율을 높이는 제어 변량(control variate)을 구성하는 데에만 사용하며, 정책 그래디언트 추정량에 편향을 주지 않는다. 그러나 기존에 발표된 MFPG 연구는 소규모 시뮬레이션 과제에서의 REINFORCE로 한정되어 있다. 본 연구는 GPU 병렬 시뮬레이션 및 실제 물리 로봇에서 동작하는 현대적인 액터-크리틱(actor-critic) 학습을 위해 MFPG를 확장한다. 분석과 실험 결과, 근접 정책 최적화(proximal policy optimization, PPO)에 단순하게 확장을 적용하면 신뢰도 간 상관관계(cross-fidelity correlation)를 잃거나 분산이 증가할 수 있음을 보인다. 본 연구가 제안하는 MFPG-PPO는 샘플링, 어드밴티지(advantage) 추정, 제어 변량 구성을 재설계하여 신뢰도 간 상관관계를 유지하고, 추정량의 불확실성을 모니터링하여 분산 증가를 방지함으로써 이러한 실패를 해결한다. 또한 고정된 샘플링 예산을 고신뢰도 및 저신뢰도 데이터 소스에 분배하는 예산 인지(budget-aware) MFPG-PPO를 도입한다. LF에서 HF로의 전이 난이도와 HF 데이터 예산이 다양한 모의 로봇 보행(locomotion) 과제 전반에서, MFPG-PPO는 거의 모든 설정에서 HF 데이터만으로 학습한 PPO보다 성능이 우수하며, 가장 어려운 과제에서 가장 작은 HF 예산으로도 16배 더 많은 HF 데이터로 학습한 PPO의 성능과 꾸준히 대등한 결과를 보인다. 반면, LF 데이터를 사용하는 대부분의 기준선(baseline) 방법은 LF에서 HF로의 직접적인 전이가 성공하는 경우에만 좋은 성능을 보인다. MFPG-PPO는 업데이트당 단 4개의 실제 로봇 에피소드만 사용하고 인간 시연(human demonstration) 없이도 실제 Franka 로봇 암에서 안정적인 학습을 가능하게 한다.

arXiv:2610.00619v1q-fin.TR공통 태그 Deep Reinforcement Learning, Algorithmic Trading

초과 경쟁적 결과를 넘어서: 최적 집행 게임을 위한 심층 강화학습에서의 담합 행위

Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games

본 논문에서는 이탈을 억제하고 담합의 행동적 증거를 제공하는 학습된 징벌 메커니즘을 규명함으로써, 최적 집행(optimal-execution) 게임에서 나타나는 초과 경쟁적 결과(supra-competitive outcomes)에 대한 기존 연구 결과를 확장합니다. 저자들은 2인 유한 시간 지평 Almgren-Chriss 청산 게임에서 이 메커니즘을 조사합니다. 에피소드 내 가격 및 행동 이력에 접근할 수 있는 독립적인 근접 정책 최적화(PPO) 에이전트들은 내시(Nash) 벤치마크보다 낮은 비용을 달성합니다. 학습된 평균 청산 일정에 대항해 학습(training)시킴으로써 수익성 있는 이탈을 식별한 뒤, 원래 에이전트 중 하나에 이탈의 첫 거래를 강제합니다. 이에 상대방은 청산을 가속화하는 방식으로 대응합니다. 이러한 대응은 모든 실행과 두 플레이어 역할 모두에서 이탈자의 이득을 상쇄하고도 남으며, 동일한 이탈 하에서 처벌하지 않았을 때와 비교해 처벌자의 평균 보수는 실질적으로 변하지 않은 채 유지됩니다. 처벌자는 더 수익성이 높고 징벌성이 덜한 청산 계획을 선택할 수 있음에도 불구하고, 자신의 평균 보수를 보존하면서 이탈자에게 더 큰 손실(loss)을 부과합니다. 이에 상응하는 이탈과 그에 따른 추가 매도는 학습 과정에서 증가했다가 이후 감소하지만, 최종 정책은 효과적인 징벌적 대응을 유지합니다. 저자들은 처벌이 이탈로 인한 이득을 능가하는지 여부, 그리고 거래 행동의 변화가 부과된 손실을 설명할 만큼 충분히 큰지 여부라는 두 가지 검증 기준을 정식화합니다. 테스트된 이탈에 대해 두 검증 기준 모두 충족됩니다. 종합하면, 이러한 발견들은 학습된 초과 경쟁적 결과가 담합이라는 해석을 뒷받침하는 행동적 및 경제적 증거를 제공합니다.

arXiv:2609.22592v1cs.AI공통 태그 Deep Reinforcement Learning, reinforcement learning rl

AutoGym: 검증 가능한 에이전트 Gym의 청사진 우선 생성

AutoGym: Blueprint-First Generation of Verifiable Agent Gyms

강화학습(RL)으로 에이전트(agent)를 학습(training)시키려면 작업(task), 해당 작업을 시도할 수 있는 실행 가능한 환경(environment), 그리고 성공과 실패를 안정적으로 판별하는 검증기(verifier)로 구성된 gym이 필요합니다. 이러한 gym을 구축하는 작업은 여전히 수작업에 의존하며 비용이 많이 들고 정적입니다. 모델(model)이 발전함에 따라 작업 세트는 포화 상태에 이르고 데이터 오염에 점점 더 노출됩니다. 합성 생성을 통해 확장성을 확보할 수 있지만, 단일 패스(single-pass) 합성은 난이도가 주로 표면적인 수준에 불과한 작업을 생성합니다. 복잡한 문장 표현에도 불구하고 비슷한 수준의 성능을 가진 모델들이 이를 해결하며, 정답 여부는 신뢰할 수 없는 대규모 언어 모델(LLM) 심사위원에 의해 사후에 판별되어야 합니다. 본 논문에서는 최소한의 도메인 시드나 이전 모델의 궤적(trajectory)으로부터 완전한 gym(작업, 실행 가능한 환경, 검증기)을 생성하는 프레임워크인 AutoGym을 제시합니다. AutoGym은 세 가지 메커니즘을 도입합니다. (1) 청사진 우선(blueprint-first) 생성은 환경이 구체화되기 전에 유효한 솔루션 공간, 환경 요구 사항 및 검증 기준을 지정함으로써, 해결 가능성(solvability)을 사후에 검증하는 속성이 아닌 구축의 전제 조건으로 만듭니다. (2) 명시적 생성 파라미터는 작업 토폴로지, 상호작용 깊이, 능력 축, 질문 난독화, 방해 요소 구성을 제어하여 세밀한 난이도 조정을 가능하게 합니다. (3) 능동형 커리큘럼 합성은 모델의 능력이 발전함에 따라 성능 정보를 반영한 캘리브레이션을 활용해 이러한 파라미터에 대한 분포를 조정합니다. 생산성 및 시간적 추론 환경 전반에서 AutoGym은 프론티어 모델에 도전하는 사례를 포함하여 다양한 능력 스펙트럼에 걸친 gym을 생성합니다.

arXiv:2609.23643v1cs.RO공통 태그 Deep Reinforcement Learning, proximal policy optimization

토목 인프라 및 건축물의 협소한 개구부 통과 자율 무인 항공기 내비게이션을 위한 스파이킹 신경망 액터-크리틱 근접 정책 최적화 제어

Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings

제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.