초과 경쟁적 결과를 넘어서: 최적 집행 게임을 위한 심층 강화학습에서의 담합 행위
Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games
한국어 초록
본 논문에서는 이탈을 억제하고 담합의 행동적 증거를 제공하는 학습된 징벌 메커니즘을 규명함으로써, 최적 집행(optimal-execution) 게임에서 나타나는 초과 경쟁적 결과(supra-competitive outcomes)에 대한 기존 연구 결과를 확장합니다. 저자들은 2인 유한 시간 지평 Almgren-Chriss 청산 게임에서 이 메커니즘을 조사합니다. 에피소드 내 가격 및 행동 이력에 접근할 수 있는 독립적인 근접 정책 최적화(PPO) 에이전트들은 내시(Nash) 벤치마크보다 낮은 비용을 달성합니다. 학습된 평균 청산 일정에 대항해 학습(training)시킴으로써 수익성 있는 이탈을 식별한 뒤, 원래 에이전트 중 하나에 이탈의 첫 거래를 강제합니다. 이에 상대방은 청산을 가속화하는 방식으로 대응합니다. 이러한 대응은 모든 실행과 두 플레이어 역할 모두에서 이탈자의 이득을 상쇄하고도 남으며, 동일한 이탈 하에서 처벌하지 않았을 때와 비교해 처벌자의 평균 보수는 실질적으로 변하지 않은 채 유지됩니다. 처벌자는 더 수익성이 높고 징벌성이 덜한 청산 계획을 선택할 수 있음에도 불구하고, 자신의 평균 보수를 보존하면서 이탈자에게 더 큰 손실(loss)을 부과합니다. 이에 상응하는 이탈과 그에 따른 추가 매도는 학습 과정에서 증가했다가 이후 감소하지만, 최종 정책은 효과적인 징벌적 대응을 유지합니다. 저자들은 처벌이 이탈로 인한 이득을 능가하는지 여부, 그리고 거래 행동의 변화가 부과된 손실을 설명할 만큼 충분히 큰지 여부라는 두 가지 검증 기준을 정식화합니다. 테스트된 이탈에 대해 두 검증 기준 모두 충족됩니다. 종합하면, 이러한 발견들은 학습된 초과 경쟁적 결과가 담합이라는 해석을 뒷받침하는 행동적 및 경제적 증거를 제공합니다.
원문 초록
In this paper, we extend earlier findings of supra-competitive outcomes in optimal-execution games by identifying a learned punitive mechanism that deters deviations and provides behavioural evidence of collusion. We investigate this mechanism in a two-player, finite-horizon Almgren-Chriss liquidation game. Independent proximal policy optimisation agents with access to within-episode price and action histories achieve costs below the Nash benchmark. We identify a profitable deviation by training against the mean learned liquidation schedule, then impose its first trade on one of the original agents. The opponent responds by accelerating liquidation. This response more than offsets the deviator's gain in every run and both player roles, while leaving the punisher's average payoff materially unchanged relative to not punishing under the same deviation. The punisher imposes greater losses on the deviator while preserving its own average payoff, despite the availability of more profitable, less punitive liquidation plans. Matching deviations and subsequent additional selling rise and later decline during training, while final policies retain an effective punitive response. We formalise two checks: whether punishment outweighs the gain from deviating, and whether the change in trading behaviour is large enough to account for the loss imposed. Both checks hold for the tested deviation. Together, these findings provide behavioural and economic evidence supporting a collusive interpretation of the learned supra-competitive outcomes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
베이지안 내쉬를 넘어서: 비대칭 정보 하의 적대적 팀 게임을 위한 미니맥스-후회 균형 학습
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
올바른 보상만으로는 충분하지 않을 때: 해석적으로 풀린 브로커-트레이더 게임에서 PPO 진단 및 유도
When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game
복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.
PPO-HRAP: 위험 제어 트레이딩을 위한 하이브리드 국면 인식 정책 기반 근접 정책 최적화
PPO-HRAP: Proximal Policy Optimization with a Hybrid Regime-Aware Policy for Risk-Controlled Trading
트레이딩을 위한 강화학습(RL)은 상승장 참여와 낙폭(drawdown) 제어 사이의 균형을 맞추는 데 종종 어려움을 겪습니다. 수익만을 추구하는 정책은 상승 추세 자산에 대해 수동적인 매수 포지션(long exposure)으로 귀결될 수 있는 반면, 위험에 대해 과도한 페널티를 부과하는 보상은 변동성 국면에서 지나치게 방어적으로 변할 수 있습니다. 본 논문에서는 근접 정책 최적화(PPO)와 해석 가능한 국면 사전 지식(regime prior)을 결합한 하이브리드 국면 인식 정책인 PPO-HRAP을 제안합니다. 에이전트는 시장 특성과 포트폴리오 상태 변수를 모두 관측하고, 포트폴리오 로그 수익률, VIX 조건부 낙폭 증가 페널티, 목표 익스포저 편차 및 회전율 비용을 결합한 보상을 받으며, PPO 액터 출력과 국면에서 도출된 목표 익스포저를 혼합한 행동을 실행합니다. 2020-2022년의 SPY 분리 테스트 기간 동안, PPO-HRAP은 27.62%의 총수익률, 8.48%의 연율화 수익률, 0.6447의 샤프 비율(Sharpe ratio), 0.8588의 소르티노 비율(Sortino ratio), 0.4592의 칼마 비율(Calmar ratio)을 달성하는 동시에, 매수 후 보유(Buy and Hold) 방식의 최대 낙폭을 34.10%에서 18.47%로 줄였습니다. 5개의 SPY 시드 전반에 걸쳐 PPO-HRAP은 평균 총수익률 $0.2725 \pm 0.0109$, 평균 샤프 비율 $0.6219 \pm 0.0565$로 안정성을 유지했습니다. QQQ 및 DIA에 대한 단일 실행 교차 자산 테스트에서도 제안된 방법이 보고된 세 가지 자산 모두에서 총수익률과 샤프 비율 기준 1위를 기록함을 보여줍니다. 이러한 결과는 학습된 행동과 변동성 인식 국면 사전 지식을 혼합하는 것이 위험 조정 트레이딩 동작을 개선하는 실용적인 방법임을 시사하지만, 현재 정책은 여전히 높은 회전율을 수반하며 SPY를 넘어선 교차 자산 견고성은 단일 실행 증거로 제한되어 있습니다.
FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트
FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems
다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.
LEAP-CBF: 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials)을 이용한 불확실 시스템용 안전 필터
LEAP-CBF: A Safety Filter for Uncertain Systems with Least-Effort Adversarial Potentials
제어 장벽 함수(Control Barrier Function, CBF)는 비선형 동역학 시스템의 안전성을 보장하기 위해 널리 쓰이는 안전 필터이다. 그러나 시스템에 불확실성과 외란이 존재할 때는 CBF의 강건(robust) 변형을 사용해야 하는데, 이러한 변형은 구성하기 어려울 수 있으며 특히 입력 제약이 있는 고차원 시스템에서는 지나치게 보수적일 수 있다. 본 연구에서는 이러한 문제를 해결하기 위한 새로운 접근법으로, 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials, LEAP)을 제안한다. LEAP은 주어진 상태가 외란에 대해 갖는 강건성을, 외란이 실패를 일으키기 위해 필요한 노력의 크기로 정량화하는 인증서(certificate)이다. 우리는 LEAP이 외란이 없는 시스템에 대한 CBF임을 보이는 동시에, 누적 노력이 제한된 외란에 대해 강건한 안전 필터를 구성하는 데에도 사용될 수 있음을 보인다. 또한 온-정책(on-policy) 심층 강화학습(deep reinforcement learning)으로 LEAP을 구성하는 방법을 제안한다. 이어서 외란과 불확실성이 있는 다양한 멀티 에이전트 시스템에 대한 시뮬레이션에서 LEAP을 시연한다. 마지막으로, 사족보행 로봇과 쿼드로터를 이용한 하드웨어 실험을 통해 LEAP이 실제 로봇 시스템의 외란과 불확실성을 다루는 데 적합함을 검증한다.
다중 에이전트 강화학습을 이용한 항공 회랑 내 저하된 감시 환경에서의 충돌 해소
Conflict Resolution under Degraded Surveillance in Air Corridors Using Multi-Agent Reinforcement Learning
안전한 고급 항공 이동성(Advanced Air Mobility, AAM) 운용은 감시 정보가 노이즈가 있거나, 지연되거나, 불완전하거나, 일시적으로 이용 불가능할 때 항공기가 분리(separation)를 유지해야 한다. 본 연구는 구조화된 3차원 회랑 내에서 운용되는 이질적인 소형 무인 항공기와 전기 수직 이착륙(eVTOL) 항공기 간 분산형 충돌 해소를 위한 심층 Q 네트워크 기반 다중 에이전트 강화학습 프레임워크를 개발한다. 두 항공기 유형에 대해 각각 국부 관측과 항로 유지, 선회, 수직 기동, 착륙, 속도 제어를 포함하는 14개 행동 공간을 사용하여 별도의 정책을 학습한다. 시뮬레이션에는 항공기별 동역학, 에너지 사용, 회랑 제약, 관측 노이즈, 통신 지연, 정보 드롭아웃, 바람 교란, 액추에이터 불확실성, 모델 불확실성이 포함된다. 학습된 정책은 교통 밀도와 최소 분리 임계값의 90가지 조합에 걸쳐 평가된다. 분리 상실(loss-of-separation) 빈도와 지속 시간은 일반적으로 교통 밀도와 분리 요구사항이 증가함에 따라 증가하지만, 대부분의 사건은 1초 이내에 해소된다. 안전한 조건 하에서 에이전트는 시간의 약 79% 동안 운동을 유지한다. 충돌 상황에서는 선회가 행동의 33%를 차지하며, 운동 유지 29%, 속도 제어 25%, 수직 기동 13%가 뒤를 잇는다. 6개의 파레토 최적 구성은 안전성과 회랑 용량 간의 트레이드오프를 보여준다. 이 프레임워크는 저하된 감시 조건 하에서 더 안전한 AAM 충돌 해소 전략의 시뮬레이션 기반 평가를 지원한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.