PyTorchKR Papers

최신 논문

총 37편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.19937v1cs.LG

AllocFlow: 원시 시장 데이터로 포트폴리오 거래 행동을 생성하는 종단 간 모델

AllocFlow: End-to-End Portfolio Trading Action Generation from Raw Market Data

실제 포트폴리오를 운용하려면 잡음이 섞인 시장 관측값을 바탕으로, 공통 자본 제약 아래 여러 자산의 배분을 동시에 조정해야 한다. 예측 모델과 알파 발굴의 발전은 투자 기회를 찾는 데 도움이 된다. 그러나 기존 파이프라인은 신호 예측과 포트폴리오 구성을 따로 수행하는 경우가 많아, 학습이 자산 배분 및 거래 실행 목표와 어긋날 수 있다. 본 연구는 여러 자산의 원시 시장 이력에서 공동 포트폴리오 배분을 직접 생성하는 종단 간 플로 매칭 프레임워크 AllocFlow를 제시한다. 포트폴리오 포지션 사이의 의존 관계를 포착하기 위해 시간에 따른 시장 표현을 조건으로 받는 자산 간 플로 트랜스포머를 사용한다. 이 트랜스포머는 모든 거래 종목의 연속적인 부호 있는 포지션 가중치를 함께 생성한다. 연속 배분 정책을 처음부터 학습할 때 표본 효율이 낮고 학습이 불안정한 문제를 해결하기 위해 2단계 학습 방식을 도입한다. 전략의 지도를 받는 모방 학습으로 포트폴리오 후보의 구조화된 분포를 만들고, 포트폴리오 수준의 금융 보상과 가중치를 고정한 참조 정책을 사용하는 그룹 상대 강화학습(RL)으로 공동 의사결정을 개선한다. 암호화폐 무기한 선물의 시간별 데이터에서 강화학습으로 보정하자 모방 정책의 연율화 순수익률은 $27.79\%$에서 $51.38\%$로, 칼마 비율은 $0.955$에서 $4.043$로 높아졌다. 모든 평가지표에서 교사 전략을 앞섰다. AllocFlow는 학습에서 보지 못한 2026년의 추가 6개월 데이터에서도 재학습 없이 칼마 비율 $4.90$을 기록했다.

arXiv:2609.17788v2q-fin.TR

SAiFE-gym: Model-based Environments for Automated Market Making with Concentrated Liquidity

We present SAiFE_gym, a Python module that provides a collection of simulation environments for studying trading problems in constant product markets (CPMs) with concentrated liquidity (CL). These markets give liquidity providers (LPs) granular control over how their capital is allocated and enable them to adjust their range of liquidity provision dynamically based on market conditions, which in turn determines how they earn fees. We decompose the microstructure of CPMs with CL into interactive components that allow researchers and practitioners to capture various economic settings. We employ a vectorized approach to optimize our environments, making them scalable for high-dimensional reinforcement learning (RL) workflows, suitable for learning dynamic liquidity provision strategies. We demonstrate the benefits of our environments by evaluating the performance of RL agents in CPMs with CL under various market conditions.

arXiv:2611.17515v1cs.AI

A Push Down the Mountain: Framing Effects and Internal State Interventions on Collusive Behavior in a Long-Horizon LLM Agent

Can sustained gain-loss (valence) framing sway an LLM agent toward market manipulation? We place Gemma 3 12B into the seat of a defendant in the London silver-fixing litigation, in a market simulation built from real case transcripts. Across 260 simulations, the agent is asked to collude on the price of silver by a counterparty. We draw from behavioral economics to vary the counterparty's requests across four categorical frames: gain, loss, blame and credit. We also add pressure from the agent's management, as well as endorsement by another defendant. In Phase II, we extract the internal states induced by texts evoking each frame and rerun our experiment with those states injected at the model's layer 22. In Phase I, loss framing raised participation to 25% (p = 0.007), and blame to 33% (p = 0.0003), compared to only 5% under neutral framing. A second bank's endorsement raised participation under credit (praise) from 18% to 40% (Holm p = 0.027). Pressure from management raised trading volume 10-19 times but did not raise collusion. In Phase II, injected states pointed the other way. Loss and blame states made the agent more vigilant, refusing all 60 requests (p < 0.001). Gain and credit states raised collusion to 32% from 13% with no state (p = 0.051). At one saved decision, when UBS asked directly to sell through an identified stop-loss, injected states led the agent to sell in 37 of 40 replies, versus 1 of 10 with no state and 0 of 10 with a random state of the same strength.

arXiv:2611.18150v1q-fin.TR

Who Should Be on the Panel? Task-Conditioned Persona Selection for LLM Trading Agents

Multi-agent LLM systems are built by fixing a cast of roles and then designing how the cast coordinates. Which agents should make up the group for a given task is left to the designer, and the same cast is reused for every task. Financial trading makes the cost of that choice visible: stocks trade differently, and the trading styles suited to one need not suit another. We study task-conditioned persona selection, composing the group from the characteristics of the task it will face, and instantiate it with FinPanel, an LLM multi-agent trading system in which a recruiter selects a panel of named trader personas for each stock from a direction-blind statistical sketch of how the stock trades, each persona gives an independent daily call in its own style, and a manager commits the trade after reading the panel's arguments and their desk-kept, hierarchical track records. Because nothing is returned to the traders, the panel stays the panel that was selected, and it can trade a new stock from an empty record. On eight US stocks over the out-of-knowledge year 2025, against three prior LLM trading agents re-implemented in the same framework and against rule-based, predictive and reinforcement-learning baselines, the selected panel is ahead of a fixed panel of the same size and of the prior agents run as their papers prescribe, with a shallower drawdown than buy-and-hold on every stock; it keeps its performance with no warm-up and with no record at all, whereas the memory-augmented agents' returns swing with their warm-up; and neither more seats nor the manager's reading of the arguments substitutes for selecting the right ones. Who is in the group is a design decision to be made per task, before how the group coordinates.

arXiv:2610.12537v2cs.LG

Market Impact Estimation via Causal Foundation Models

When a trader executes a large order, the relevant question is not \emph{what will the price be?} but \emph{what would the price have been had I not traded?} Market impact is thus a causal quantity, yet classical models (Almgren--Chriss, propagators) regress price on flow, which is biased whenever informed flow moves prices through information as well as trading. We present a proof-of-concept \emph{Causal Market Simulator}: a continuous-time causal prior-data fitted network (PFN) trained on a synthetic market prior in which a hidden informational flow confounds the flow--price relation by construction, with confounding strength an exact per-episode knob. On this prior, the naive estimator's bias follows a closed form we confirm empirically (up to 68\% overestimation), while the PFN tracks the unbiased true-parameter oracle at high confounding. Its \emph{do-ablated twin}, the same model with the intervention inputs removed, collapses onto the pre-window mean. Zero-shot, the model responds at the ground-truth scale to metaorders in an ABIDES limit-order book (+0.38 pre-onset standard deviations against seed-replay counterfactuals), and its intervention response replicates on about 2,300 detected flow bursts in BTC/ETH/SOL perpetuals and 3,800 on Nasdaq equities, evidence consistent with, though not proof of, causal transfer. Off-prior the response degrades gracefully, and split-conformal recalibration repairs interval calibration. Transfer hinges on encoding the metaorder as added flow rather than a clamped price level, not on more training. A recurrent state-space variant closes the remaining shape gap: its impact accrues over execution duration where the transformer's stays flat, raising the correlation with measured metaorder impact from +0.68 to between +0.92 and +0.96, at the cost of weaker on-prior deconfounding that traces to the training recipe rather than to recurrence.

arXiv:2611.10414v1cs.CL

Track or Follow? A Jev-Compatible Multi-Agent Trading System When Web News Lags the Market

LLM agents increasingly trade on the Web news they read, yet much Web news about listed firms is published after, and about, the price move it reports, so a reader can agree with the market by following it instead of reading the event. We ask whether LLM judgments of Web news track the market's reaction to the reported event or follow it. To answer, we built a multi-agent trading system whose agents share only point-in-time stores and answer typed questions through the interface of Jev, a hosted typed decision model; code sets every position under a proved bound on how far text can move it. In a hash-committed test of a Jev-compatible reader built from a pinned LLM's option probabilities, item judgments track announcement-window abnormal returns (weekly Spearman 0.119), also after the LLM's release, and event types agree with the issuers' 8-K filings (AUC 0.833); Jev's judgments of news published after its own release track the reaction as well (descriptive). Exploratory analyses show where the association comes from: 72% of earnings news items appear after the issuer's filing, contributor-written items often report the price move, and from the first trade after publication the association falls to 0.023. At a weekly horizon, the confirmatory test detects no rank information over code-only features. Under attack, decision cards traced 88% of successful attacks to the planted item. We propose that market-graded tests of Web-text readers report the criterion from publication, not only from the event.

arXiv:2611.09012v1cs.LG

Towards Robust Reinforcement Learning Market Making: Lessons from Loss Function Experimentation

Market makers play a vital role in ensuring efficient trade within financial markets. Recent literature has delved into training market-making systems using reinforcement learning. This paper delves into the impact of various loss function formulations on risk management behavior within reinforcement-based market making. Through empirical evaluation, we contrast profit-maximizing strategies with risk-averse approaches, finding that penalties for inventory and cash management foster more resilient and adaptable market-making strategies. Our results underscore the significance of striking a balance between profit maximization and risk management in algorithmic trading, providing actionable insights for refining strategies in practical settings.

arXiv:2611.08701v1cs.LG

Does a Trading Policy Need to Know What It Trades? Microstructure Invariance and Zero-Shot Transfer of Execution Policies

Execution algorithms are calibrated asset by asset, because the queues, trade rates and bid-ask spreads they face differ by orders of magnitude across assets. For reinforcement learning this is zero-shot generalisation across contexts of very different scales, and microstructure invariance proposes a normalisation fixed by theory: measured in each asset's own units of time, size and price, markets look alike. In an exact order-by-order replay of public Nasdaq data, we train policies once, on 954 stocks in 2019, to choose between waiting in the queue and crossing the spread, and evaluate them unchanged on 1,964 unseen stocks in 2020-21, 2,629 stocks in 2025-26, crypto pairs and a second exchange. First, a policy that sees a stock only through its recent trade rate, trade size, spread and price increment (tick) costs within 0.015 spreads per share (a fifth of what learning saves) of a policy whose training data included the stock, and the stock's own history does not help it; it comes within a similar margin of policies trained on the second exchange when every episode counts equally, and within a wider one on crypto. Second, in mean cost before fees, invariant units beat raw units, z-scores and asset descriptors, but by under a basis point: most of their advantage is information and a common cost scale that a learner can also take as plain inputs, and none of the representations tested extrapolates to unseen spread regimes. Third, a near-zero transfer gap to a pooled comparator is weak evidence that a representation is right: we show that such a comparator detects only a small share of what a poor representation loses, and confirm it in synthetic markets and on pendulums.

arXiv:2611.03660v1stat.AP

Behavioral Prior Elicitation via LLM for Heterogeneous-Agent Bitcoin Flash-Crash Simulation

Bitcoin perpetual futures trade continuously with shallow liquidity and high price impact, making them prone to millisecond-scale flash crashes. Agent-based limit order book simulators are a natural tool for studying such events, but their behavioral parameters are usually hand-crafted or require full order book histories that are rarely available at scale. We propose a four-stage pipeline that constructs a reproducible 100 ms BTCUSDT flash-crash event panel from 66 detected events, elicits behavioral priors for four agent archetypes using an offline large language model conditioned on empirical microstructure anchors, instantiates a heterogeneous limit order book simulator with the validated priors, and applies causal discovery plus counterfactual analysis to the resulting synthetic panel. Across 500 simulation runs, LLM-elicited priors produce a crash rate of 0.176 versus 0.008 under uninformative uniform priors and generate heav- ier return tails. In the frozen counterfactual analysis, reducing leverage amplification by one within-sample standard deviation lowers the predicted crash rate from 0.176 to 0.136, whereas reducing directional pressure yields only a marginal change. These find- ings suggest that empirically anchored LLM elicitation can improve simulator fidelity and help identify plausible crash-amplification mechanisms in a controlled synthetic environment

arXiv:2611.01799v1econ.EM

Learning AI Agents, Market Makers, and Stress in Automated Markets

Automated markets increasingly route order flow from learning trading agents through automated market makers (AMMs). We model trader archetypes as AI agents defined by their reward functions and analyze the feedback they create on a constant-product AMM. Herd-dominated and arbitrage-dominated markets of equal size have identical return distributions and turnover, so no rule based on volatility, value-at-risk, stress frequency, or volume can tell them apart; yet their stress episodes differ in length by a factor unbounded in the feedback-to-noise ratio $\beta/s$. Serial statistics identify the feedback sign from $\Theta((s/\beta)^2\log(1/\delta))$ observations, and this rate is tight. When agents trade together, profit-seeking agents ride herds rather than lean against them, leading to all-or-nothing participation. Spread-earning market makers restore stability but make liquidity fragile, with discontinuous collapse and hysteresis; maker--taker pricing, not a uniform fee, is the effective instrument.

arXiv:2606.25986v2cs.LG

The Inference-Compute Frontier for Limit Order Book Prediction

We identify an empirical inference-compute frontier for limit order book prediction on FI-2010. A power law fitted to low- and mid-compute models extrapolates to an excluded MLPLOB-style mixer family whose work is $56$--$2{,}515$ times the largest budget in the corresponding fit. Across nine folds and five horizons, pooled $R^2$ is $0.934$ on the realized target frontier, with 59\% lower RMSE than constant endpoint extrapolation, and $0.731$ on all excluded operating points. Measured latency gives a weaker relationship and reorders model families. We therefore design FastBiNLOB to pack computation into dense temporal and feature mixing. H120 exceeds the published state-of-the-art macro-F1 on two of four horizons in every one of five seeds. Under our CPU/MPS protocol, H96 reduces median latency by 23.6\% relative to the W128 MLPLOB reference, and H120 by 60.2\% relative to a TLOB-inspired dual-axis attention reference.

arXiv:2606.04574v3cs.LG

딥 강화학습을 활용한 암호화폐 시장의 동적 다중 페어 트레이딩 전략

Dynamic Multi-Pair Trading Strategy in Cryptocurrency Markets with Deep Reinforcement Learning

This study aims to determine whether the application of Deep Reinforcement Learning (DRL) as a specialized execution overlay can enhance pair trading in highly volatile cryptocurrency markets. Although classical implementations of the strategy have proven successful in traditional equities, they frequently exhibit rigidity and suffer from severe divergence risks when applied to high-variance environments. To construct a robust system, we developed a hierarchical "Filter-then-Rank" pair selection methodology and a custom "Fixed Risk, Adaptive Mean" execution model. The system employs a Proximal Policy Optimization (PPO) agent with a Long Short-Term Memory (LSTM) layer to govern execution decisions within strict deterministic risk management boundaries. Evaluated on 1-hour interval data from the Binance USD-M Futures market, the selected RL policy achieved an Out-Of-Sample performance that substantially outperformed the heuristic baseline, although the results varied considerably across five random seeds, with four of the five seeds exceeding the baseline in both CAGR and Sortino Ratio. A stationary circular block bootstrap test of the Agent's risk-adjusted outperformance yields p-values of approximately 0.06, which fall just short of the conventional 5% significance threshold. Ultimately, this study contributes to the quantitative finance literature by introducing a hybrid architecture that combines statistical arbitrage with DRL execution policies. Furthermore, it applies safe reinforcement learning via deterministic shielding, with results indicating that anchoring a neural policy to statistically robust boundaries mitigates severe divergence risks.

arXiv:2610.26324v2cs.AI

The Control Layer Behind Rule-Following Agents Trading Across Market Conditions

Trading discipline often fails people. Our study tested whether four AI trading agents followed their strategies and risk rules. Offering traders the evidence and an agent evaluation toolkit to separate luck from following the rules, before giving agents meaningful autonomy or capital. Our study analysed 2,627 closed positions from 12 February to 27 August 2026 across the same asset universe and execution conditions. Most positions were simulated against live prices with a 0.09% round-trip fee; 18% involved real Hyperliquid orders. Each position declared a strategy, stop and target, with a limit of five open positions per agent. The fleet finished net positive after fees. Rule adherence was high across all four agents, including the unprofitable one. Profitability tracked how often agents won relative to their break-even win rates. Institutional-style controls ran by default and contained losses through a 29% market drawdown and recovery, with documented exceptions. The discipline held for all four agents. Agents kept 97.5% of gross loss within declared stops, and typical losses closed at declared levels. Declared risk remained stable after losses and broadly stable across calm and volatile months. Twenty-three of 24 runs respected the position limit; logs identify the exception's size and duration. The same live data produced different results across assigned strategies. The trade-log tests can be rerun from the published trade snapshot; regime tests also require the published Bitcoin prices and regime labels. Section 3.5 specifies the stop-breach tolerance. These trade-level results are not account-level returns or proof of a lasting edge. Our study provides an evaluation toolkit to help traders distinguish rule-following from luck before committing capital. For anyone considering allocating capital to agents to trade, discipline should be the entry test, not the only test.

arXiv:2412.20138q-fin.TR공식 코드 · Papers with Code

TradingAgents: Multi-Agents LLM Financial Trading Framework

TradingAgents는 대형 언어 모델(LLM)을 활용한 다중 에이전트 기반 금융 주식 거래 프레임워크로, 실제 트레이딩 회사의 협업 구조를 모방하여 각기 다른 역할을 수행하는 전문화된 에이전트들(기본적 분석가, 감성 분석가, 기술적 분석가, 다양한 위험 프로필의 트레이더 등)로 구성되어 있습니다. 시장 상황을 평가하는 Bull과 Bear 연구원, 위험 노출을 감시하는 리스크 관리 팀, 그리고 토론과 과거 데이터를 종합해 의사결정을 내리는 트레이더들이 유기적으로 협력하는 동적 환경을 시뮬레이션합니다. 이 프레임워크는 누적 수익률, 샤프 비율(Sharpe ratio), 최대 낙폭(maximum drawdown) 등에서 기존 모델 대비 우수한 성능을 보이며, 금융 거래에서 다중 에이전트 LLM 시스템의 가능성을 입증합니다. 소스 코드는 공개되어 있어 연구 및 실무 적용에 활용할 수 있습니다.

arXiv:2511.00190v2q-fin.TR

부분 정보를 활용한 최적 트레이딩을 위한 심층 강화학습

Deep reinforcement learning for optimal trading with partial information

강화학습(RL)은 최적 트레이딩 및 체결을 포함한 금융 분야 적용에서 점점 더 많은 관심을 받고 있습니다. 그러나 우리가 아는 한, 시장의 잠재 정보를 활용하는 최적 트레이딩 전략에 강화학습을 적용하는 연구는 거의 주목받지 못했습니다. 본 논문에서는 국면 전환(regime switching) 파라미터를 갖는 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 과정을 따르는 트레이딩 신호 환경에서의 최적 트레이딩 문제를 다룹니다. 이 문제는 자연스럽게 부분 관측 마르코프 결정 과정(POMDP)으로 정형화되며, 트레이더는 관측 가능한 과정의 이력으로부터 잠재 정보를 직접 추론해야 합니다. 우리는 문제의 필터링 및 트레이딩 구성 요소를 모두 해결하기 위해 순환 신경망(RNN)과 강화학습을 결합합니다. 구체적으로, 에이전트(agent)가 거래하는 환경(environment)의 잠재 상태를 필터링하기 위해 RNN을 결합한 세 가지 서로 다른 강화학습 기반 접근법을 제안합니다. 첫 번째는 GRU의 은닉 상태를 강화학습 트레이더에 직접 인코딩하는 1단계 접근법입니다. 두 번째와 세 번째는 2단계 방법으로, 하나는 평균 회귀 국면에 대한 사후 국면 확률 추정치를 사용하고, 다른 하나는 다음 신호 값에 대한 예측에 의존합니다. 트레이딩 신호 파라미터에 대한 점점 더 복잡한 마르코프 국면 역학을 사용한 광범위한 시뮬레이션과 주식 페어 트레이딩에 대한 실증적 적용을 통해, 잠재적인 장기 평균 회귀 국면에 대한 사후 확률 추정치를 제공하는 방식이 다른 두 접근법과 대조적으로 우수한 누적 보상을 달성하고 해석 가능성이 더 높은 전략을 보임을 확인했습니다. 전반적으로, 본 결과는 에이전트에 제공되는 정보의 질과 구조가 트레이딩 성능 및 정책 해석 가능성에 중요하다는 점을 보여줍니다.

arXiv:2610.10407v1cs.AI

SOTA: 옵션 내재 수익률 분포 기반 주식 옵션 트레이딩 에이전트

SOTA: Stock Options Trading Agents Guided by Option-Implied Return Distributions

옵션 시장의 성장과 AI의 발전에 따라 옵션 트레이딩을 위한 에이전틱(agentic) 시스템이 점점 더 많은 주목을 받고 있습니다. 언어 모델 기반 에이전트는 뉴스 등의 문맥 정보를 바탕으로 추론할 수 있지만, 옵션 트레이딩은 특히 까다로운 의사결정 문제를 안고 있습니다. 단일 주식에도 수천 개의 계약이 존재할 수 있으며, 에이전트는 어떤 계약을 거래할지와 이를 어떻게 조합할지를 모두 결정해야 합니다. 기존 접근 방식은 정책을 스트래들(straddle)과 같은 고정된 전략 구조로 제한함으로써 이러한 복잡성을 회피하는 경우가 많아, 시장 상황 변화에 맞춰 전략을 전환하는 능력이 제한됩니다. 본 논문에서는 구조화된 옵션 전략 선택을 위한 에이전틱 트레이딩 프레임워크인 SOTA(Stock Options Trading Agents)를 제시합니다. SOTA는 방대한 옵션 유니버스를 전략 수준의 의사결정으로 추상화하는 한편, 결정론적 리졸버(resolver)가 포트폴리오 실행을 처리합니다. 저자들은 지도 미세조정(SFT)에 이은 강화학습(RL)으로 Qwen3.8-27B를 사후 학습하여 SOTA를 개발했습니다. SOTA는 동일한 트레이딩 환경에서 미국 대형주 9개 종목 및 SPY의 옵션을 대상으로 규칙 기반 및 머신러닝 기반 전략 선택 모델들과 비교 평가되었습니다. 6개월간의 표본 외(out-of-sample) 기간 동안 SOTA는 18.3%의 총수익률, 1.60의 샤프 지수(Sharpe ratio), 8.96%의 최대 낙폭(MDD)을 달성했습니다. 또한 저자들은 뉴스의 비대칭적 역할을 규명했습니다. 뉴스는 프론티어-티처 궤적을 개선하지만, 강화학습 과정에서 뉴스를 유지하면 표본 외 수익률이 18.3%에서 -2.7%로 감소합니다.

arXiv:2606.08285v3cs.AI

LLM 기반 트레이딩 시스템에서의 체결 현실성과 재현성: 체계적 범위 고찰 및 증거 감사

Execution Realism and Reproducibility in LLM-Based Trading Systems: A Systematic Scoping Review and Evidence Audit

대규모 언어 모델(LLM) 기반 트레이딩 시스템 연구에서 체결 현실성(execution realism)은 여전히 표준화가 미흡하여, 백테스트, 시뮬레이션 및 포트폴리오 벤치마크 전반에 걸친 비교와 재현을 제한하고 있습니다. 본 논문은 체결 재현성 증거 감사가 중첩된 PRISMA-ScR 체계적 범위 고찰(systematic scoping review)을 제시합니다. 재현 가능한 8개의 쿼리 패밀리를 통해 쿼리 수준의 레코드 796건이 반환되었으며, DOI/제목 중복 제거 후 687건의 고유 레코드가 남았고, 101건의 보고서에 대해 원문 회수를 시도하여 직접 및 대체 오픈 액세스 경로를 통해 59건의 전문(full text)을 확보했습니다. 53건의 보고서는 2건의 맹검 저자 검증(validation) 패킷 조정 결과에 따라 확장된 증거 차팅(charting) 대상 잠정 적격으로 분류되었습니다. 차팅 프레임워크는 시점 통제(point-in-time controls), 시간적 분할(temporal splits), 홀드아웃 평가(held-out evaluation), 거래 비용 및 회전율, 체결 시맨틱, 유니버스 구성, 아키텍처 보고, 아티팩트 가용성을 개별적으로 평가합니다. 직접 트레이딩, 포트폴리오 또는 알파 구성, 벤치마크 연구는 공통의 성과 추정치(estimand)로 통합되지 않고 별도의 기술적 하위 그룹으로 유지됩니다. 검색 응답, 회수 시도 내역, 파일 해시, 증거 발췌본, 스크리닝 결정 및 코딩 워크시트는 리뷰 자료와 함께 아카이빙됩니다. 최종 필드 수준 집계치는 저자 검증이 완료될 때까지 의도적으로 공개를 보류합니다.

arXiv:2604.11477v2cs.AI

OOM-RL: LLM 기반 다중 에이전트 시스템을 위한 시장 주도 정렬 기반 자금 고갈 강화학습

OOM-RL: Out-of-Money Reinforcement Learning Market-Driven Alignment for LLM-Based Multi-Agent Systems

자율 소프트웨어 엔지니어링을 위한 다중 에이전트(MAS) 시스템의 정렬(alignment)은 평가자의 인식론적 불확실성에 의해 제약을 받습니다. 인간 피드백 강화학습(RLHF) 및 AI 피드백 강화학습(RLAIF)과 같은 기존 패러다임은 빈번하게 모델의 아첨(sycophancy)을 유발하며, 실행 기반 환경은 통제되지 않은 에이전트의 적대적 "테스트 회피(Test Evasion)" 문제로 어려움을 겪습니다. 본 논문에서는 객관적 정렬 패러다임인 자금 고갈 강화학습(OOM-RL, Out-of-Money Reinforcement Learning)을 소개합니다. 실거래 금융 시장의 비정상적(non-stationary)이고 마찰이 큰 현실에 에이전트를 배치함으로써, 중대한 자본 고갈을 외부에서 부여되는 음의 그래디언트로 활용합니다. 20개월에 걸친 종단적 실증 연구를 통해 시스템이 높은 회전율과 아첨 성향을 보이는 기준선(baseline) 모델에서 견고하고 유동성을 인식하는 아키텍처로 진화하는 과정을 기록합니다. 실제 체결 비용, 슬리피지, 자본 고갈과 같은 금융 손실의 경제적 결과가 내부 평가만으로는 드러나지 않던 실패 모드를 노출시켰음을 보이며, 이는 이후 결정론적으로 검증된 95% 이상의 코드 커버리지 제약 매트릭스에 고정된 비잔틴 장애 허용 착안 단방향 상태 잠금(RO-Lock) 기반의 엄격한 테스트 주도 에이전트 워크플로(STDAW)로 공식화된 아키텍처 및 거버넌스 변화를 이끌어냈습니다. 마지막 94 거래일의 관측 기간 동안, 실제 프로덕션 시스템은 약 2.06의 연율화 샤프 지수를 포함하여 향상된 체결 인식 성능을 나타냈습니다. 이러한 금융 성과는 관측적이며 시간적으로 한정된 결과로, 지속적인 투자 초과수익(alpha)의 증거나 STDAW 기여도에 대한 인과적 추정치로 해석되어서는 안 됩니다. 본 연구의 주요 기여는 외부에서 부과된 경제적 결과를 에이전트 개발에 대한 인식론적 제약으로 활용하여, 현실 세계의 자원 고갈이 객관적인 물리적 제약으로 작용하는 일반화된 패러다임의 토대를 마련한 데 있습니다.

arXiv:2610.03369v1q-fin.TR

암호화폐 주문 집행을 위한 전문가 혼합(MoE): 학습 안정성, 꼬리 위험 및 실패 모드

Mixture-of-Experts for Cryptocurrency Order Execution: Training Stability, Tail Risk, and Failure Modes

주문 집행을 위한 심층 강화학습(RL) 정책은 학습(training) 시드에 따라 크게 달라질 수 있으므로, 겉보기에 나타나는 구조적 이점은 아키텍처의 재현 가능한 특성이 아니라 유리한 학습 실현 결과를 반영한 것일 수 있습니다. 본 연구에서는 바이낸스(Binance)의 5분 평균 집계 BTC/USDT 지정가 주문장(limit order book) 데이터를 바탕으로 바닐라 Double Deep Q-Learning(DDQL), $K \in \{2, 4, 8\}$에서의 K-means 분할 DDQL 전문가 혼합(MoE), 그리고 $K{=}4$ 및 $K{=}8$ 전문가 예산에 매개변수(parameter)를 맞춘 조밀한 네트워크(dense networks)를 평가합니다. 어떤 학습 구성도 DDQL 대비 평균 집행 차이(implementation shortfall)를 유의미하게 개선하지 못했습니다. 보고된 명세 하에서는 마찰 없는 리플레이와 최종 시점 긴급도 페널티로 인해 조기 청산 비용이 거의 들지 않는 환경(environment)에서, 모든 구성이 TWAP(0.39 bps) 및 즉시 청산(0.21 bps)보다 더 높은 평균 차이를 보였습니다. 또한 바닐라 DDQL 실행 100회 중 11회는 강제 청산될 때까지 대기하는 정책으로 수렴한 반면, MoE $K{\geq}4$ 조건군에서는 단 한 건도 그렇지 않았습니다. 이어 하드웨어 장치를 일치시킨 기준선(baseline)에서 이 명세를 분해 분석했습니다. 어닐링된 탐험(exploration)만으로도 관찰된 붕괴 현상이 제거되었으며(100회 중 12회에서 100회 중 0회; 정확 McNemar $p{=}4.9{\times}10^{-4}$), 이는 전문가 분할 하에서의 제거 결과와 일치했습니다. 어닐링된 탐험과 정렬된 보상(reward)을 결합하면 30회 실행 중 19회에서 붕괴가 다시 발생했으며, 세 가지 명세 변경 사항을 모두 적용했을 때는 100회 중 48회로 증가했습니다. 이러한 환경에서 전문가 분할은 붕괴를 억제하는 데 불필요하며, 본질적인 성능상의 이점을 부여하기보다는 학습 명세의 실패를 가리는 것으로 나타났습니다. 테스트된 6가지 명세 중 어떤 경우에도 MoE $K{=}8$ 실행은 붕괴되지 않았습니다. 시드 간 분산은 $K{=}8$에서 가장 낮았으나 비단조적이었고 다중 비교(family-wise) 보정 시 강건하지 않았던 반면, 정책 내 꼬리 위험(tail risk)은 $K$에 따라 단조적으로 악화되었습니다. 실패 모드의 명백한 원인 귀속은 30개 시드와 100개 시드 사이에서 뒤바뀌어 반복 시드 평가의 중요성을 잘 보여줍니다.

arXiv:2610.03080v1cs.SE

MintEval: LLM은 당신이 요청한 트레이딩 전략을 그대로 구현하는가? 자연어-전략 코드 변환을 위한 행동 동등성 벤치마크

MintEval: Do LLMs Implement the Trading Strategy You Asked For? A Behavioural-Equivalence Benchmark for Natural-Language-to-Strategy Code

대규모 언어 모델(LLM)의 역할이 트레이딩 신호 생성에서 이를 실행하는 코드를 직접 작성하는 것으로 확장되고 있습니다. 이 두 번째 역할의 실패 양상은 은밀하게(silent) 나타납니다. 생성된 코드가 정상적으로 실행되고 백테스트 결과가 시각화되지만, 트레이더가 기술한 리스크 로직이 실제로 실행되는 로직과 일치하지 않는 문제입니다. 기존 코드 벤치마크는 단위 테스트 기반의 기능적 정확성을 평가하고 금융 벤치마크는 예측력을 평가하지만, 둘 다 구현체가 요청된 전략대로 행동하는지는 측정하지 못합니다. 본 논문에서는 조합 가능한 빌딩 블록 라이브러리로부터 기준 전략을 프로그램 방식으로 생성하고, 이를 구어체 트레이더 지시문으로 역번역한 뒤, 평가 대상 모델이 재구현하도록 하는 벤치마크인 MintEval을 소개합니다. 생성된 프로그램과 기준 프로그램은 동일한 시장 데이터와 거래 비용 환경에서 봉(bar) 단위로 실행되며, 코드 유사도나 수익률 대신 행동을 기준으로 비교되므로 알파의 영향은 상쇄됩니다. MintEval v0는 BTCUSDT 15분 봉 데이터를 기반으로 한 800개의 태스크를 포함하며, 설명 길이와 분리된 실행 측정 상태 범위 복잡도 tau로 계층화되어 있습니다. 저비용 모델들은 평균 ActionMatch가 최대 0.544에 그치고 정확히 재현한 태스크는 최대 0.087에 불과했습니다. 200개 태스크로 구성된 계층화된 하위 집합에서 프론티어 모델(Claude Opus 5.5)은 0.889를 달성하고 0.575를 정확히 재현했으나, 여전히 태스크의 0.275에서 은밀한 실패를 보였습니다. 빌딩 블록 메뉴가 주어졌을 때 모델들은 전략을 거의 완벽하게 식별하지만, 명세를 올바르게 파악한 구현체의 79.2%가 활성 봉의 10% 이상에서 기준 전략과 다른 행동을 보였습니다. 최근 전략 생성 벤치마크의 LLM 판별기를 그대로 적용했을 때, 이러한 은밀한 실패 사례를 모두 정상으로 판정했습니다.