암호화폐 주문 집행을 위한 전문가 혼합(MoE): 학습 안정성, 꼬리 위험 및 실패 모드
Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes
한국어 초록
주문 집행을 위한 심층 강화학습(RL) 정책은 학습(training) 시드에 따라 크게 달라질 수 있으므로, 겉보기에 나타나는 구조적 이점은 아키텍처의 재현 가능한 특성이 아니라 유리한 학습 실현 결과를 반영한 것일 수 있습니다. 본 연구에서는 바이낸스(Binance)의 5분 평균 집계 BTC/USDT 지정가 주문장(limit order book) 데이터를 바탕으로 바닐라 Double Deep Q-Learning(DDQL), $K \in \{2, 4, 8\}$에서의 K-means 분할 DDQL 전문가 혼합(MoE), 그리고 $K{=}4$ 및 $K{=}8$ 전문가 예산에 매개변수(parameter)를 맞춘 조밀한 네트워크(dense networks)를 평가합니다. 어떤 학습 구성도 DDQL 대비 평균 집행 차이(implementation shortfall)를 유의미하게 개선하지 못했습니다. 보고된 명세 하에서는 마찰 없는 리플레이와 최종 시점 긴급도 페널티로 인해 조기 청산 비용이 거의 들지 않는 환경(environment)에서, 모든 구성이 TWAP(0.39 bps) 및 즉시 청산(0.21 bps)보다 더 높은 평균 차이를 보였습니다. 또한 바닐라 DDQL 실행 100회 중 11회는 강제 청산될 때까지 대기하는 정책으로 수렴한 반면, MoE $K{\geq}4$ 조건군에서는 단 한 건도 그렇지 않았습니다. 이어 하드웨어 장치를 일치시킨 기준선(baseline)에서 이 명세를 분해 분석했습니다. 어닐링된 탐험(exploration)만으로도 관찰된 붕괴 현상이 제거되었으며(100회 중 12회에서 100회 중 0회; 정확 McNemar $p{=}4.9{\times}10^{-4}$), 이는 전문가 분할 하에서의 제거 결과와 일치했습니다. 어닐링된 탐험과 정렬된 보상(reward)을 결합하면 30회 실행 중 19회에서 붕괴가 다시 발생했으며, 세 가지 명세 변경 사항을 모두 적용했을 때는 100회 중 48회로 증가했습니다. 이러한 환경에서 전문가 분할은 붕괴를 억제하는 데 불필요하며, 본질적인 성능상의 이점을 부여하기보다는 학습 명세의 실패를 가리는 것으로 나타났습니다. 테스트된 6가지 명세 중 어떤 경우에도 MoE $K{=}8$ 실행은 붕괴되지 않았습니다. 시드 간 분산은 $K{=}8$에서 가장 낮았으나 비단조적이었고 다중 비교(family-wise) 보정 시 강건하지 않았던 반면, 정책 내 꼬리 위험(tail risk)은 $K$에 따라 단조적으로 악화되었습니다. 실패 모드의 명백한 원인 귀속은 30개 시드와 100개 시드 사이에서 뒤바뀌어 반복 시드 평가의 중요성을 잘 보여줍니다.
원문 초록
Deep reinforcement-learning policies for order execution can vary substantially across training seeds, so apparent architectural gains may reflect favourable training realisations rather than reproducible properties of the architecture. We evaluate vanilla Double Deep Q-Learning (DDQL), K-means-partitioned mixtures of DDQL experts at $K \in \{2, 4, 8\}$, and dense networks parameter-matched to the $K{=}4$ and $K{=}8$ expert budgets on 5-minute mean-aggregated BTC/USDT limit order book data from Binance. No learned configuration significantly improves mean implementation shortfall over DDQL. Under the reported specification, all have higher mean shortfall than TWAP (0.39 bps) and immediate liquidation (0.21 bps) in an environment whose frictionless replay and terminal-urgency penalty make early liquidation nearly costless; 11/100 vanilla-DDQL runs, versus none in either MoE $K{\geq}4$ arm, converge to a policy that waits until forced liquidation. We then decompose this specification on a device-matched baseline. Annealed exploration alone eliminates observed collapses (12/100 to 0/100; exact McNemar $p{=}4.9{\times}10^{-4}$), matching the elimination under expert partitioning. Combining annealed exploration with the aligned reward restores collapse in 19/30 runs; with all three specification changes, it rises to 48/100. In this environment, expert partitioning is unnecessary to suppress collapse and appears to mask a training-specification failure rather than confer an intrinsic performance benefit. No MoE $K{=}8$ run collapses under any of the six specifications tested. Across-seed dispersion is lowest at $K{=}8$ but non-monotone and not robust to family-wise adjustment, while within-policy tail risk worsens monotonically with $K$. The apparent attribution of the failure mode reverses between 30 and 100 seeds, illustrating the importance of repeated-seed evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.