OnDeFog: 프레임 드롭 환경에서의 온라인 의사결정 트랜스포머
OnDeFog: Online Decision Transformer under Frame Dropping
한국어 초록
현실의 강화학습 적용 환경에서 통신 지연이나 센서 오류는 종종 프레임 드롭(frame dropping)을 유발하며, 이 경우 에이전트는 손실된 상태(state)와 그에 연관된 보상(reward)을 수신할 수 없게 됩니다. 프레임 드롭으로 인한 성능 저하를 해결하기 위해, 의사결정 트랜스포머(decision transformer)에 프레임 드롭 처리를 위한 추가 메커니즘을 통합하여 DeFog(Decision Transformer under Random Frame Dropping)가 개발되었습니다. DeFog는 프레임 드롭 환경에서의 성능 저하를 완화할 수 있지만, 오프라인 학습(offline learning) 방식이기 때문에 학습 데이터셋(dataset)에 충분히 표현되지 않은 새로운 상태(state)로 효과적으로 일반화하는 데 어려움을 겪습니다. 본 연구에서는 환경과 직접 상호작용하며 정책(policy)을 학습하는 온라인 강화학습(online reinforcement learning) 방법인 온라인 의사결정 트랜스포머(ODT)에 DeFog의 메커니즘을 통합한 OnDeFog를 제안합니다. 포괄적인 실험 평가를 통해 제안한 OnDeFog는 높은 프레임 드롭률을 특징으로 하는 환경에서 ODT 대비 우수한 성능을 달성하며, 낮은 보상(reward) 데이터를 다량 포함하는 데이터셋(dataset)에서는 DeFog를 능가함을 입증했습니다.
원문 초록
In challenging real-world reinforcement learning applications, communication delays or sensor failures often cause frame dropping, in which the agent cannot receive the dropped states and associated rewards. To address the performance degradation caused by frame dropping, the Decision Transformer under Random Frame Dropping (DeFog) was developed by incorporating additional mechanisms into the decision transformer to tackle frame dropping. Although DeFog can mitigate performance degradation in frame-dropping environments, since DeFog is an offline learning method, it struggles to effectively generalize to novel states not adequately represented in the training dataset. In this study, we propose OnDeFog, which integrates the mechanisms in DeFog with the online decision transformer (ODT), an online reinforcement learning method that learns policies through direct environmental interaction. Comprehensive experimental evaluation demonstrates that our proposed OnDeFog achieves superior performance compared to ODT in environments characterized by high dropping frame rate and outperforms DeFog on datasets containing a large amount of low-reward data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19721v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
올바른 보상만으로는 충분하지 않을 때: 해석적으로 풀린 브로커-트레이더 게임에서 PPO 진단 및 유도
When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game
복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.
PPO-HRAP: 위험 제어 트레이딩을 위한 하이브리드 국면 인식 정책 기반 근접 정책 최적화
PPO-HRAP: Proximal Policy Optimization with a Hybrid Regime-Aware Policy for Risk-Controlled Trading
트레이딩을 위한 강화학습(RL)은 상승장 참여와 낙폭(drawdown) 제어 사이의 균형을 맞추는 데 종종 어려움을 겪습니다. 수익만을 추구하는 정책은 상승 추세 자산에 대해 수동적인 매수 포지션(long exposure)으로 귀결될 수 있는 반면, 위험에 대해 과도한 페널티를 부과하는 보상은 변동성 국면에서 지나치게 방어적으로 변할 수 있습니다. 본 논문에서는 근접 정책 최적화(PPO)와 해석 가능한 국면 사전 지식(regime prior)을 결합한 하이브리드 국면 인식 정책인 PPO-HRAP을 제안합니다. 에이전트는 시장 특성과 포트폴리오 상태 변수를 모두 관측하고, 포트폴리오 로그 수익률, VIX 조건부 낙폭 증가 페널티, 목표 익스포저 편차 및 회전율 비용을 결합한 보상을 받으며, PPO 액터 출력과 국면에서 도출된 목표 익스포저를 혼합한 행동을 실행합니다. 2020-2022년의 SPY 분리 테스트 기간 동안, PPO-HRAP은 27.62%의 총수익률, 8.48%의 연율화 수익률, 0.6447의 샤프 비율(Sharpe ratio), 0.8588의 소르티노 비율(Sortino ratio), 0.4592의 칼마 비율(Calmar ratio)을 달성하는 동시에, 매수 후 보유(Buy and Hold) 방식의 최대 낙폭을 34.10%에서 18.47%로 줄였습니다. 5개의 SPY 시드 전반에 걸쳐 PPO-HRAP은 평균 총수익률 $0.2725 \pm 0.0109$, 평균 샤프 비율 $0.6219 \pm 0.0565$로 안정성을 유지했습니다. QQQ 및 DIA에 대한 단일 실행 교차 자산 테스트에서도 제안된 방법이 보고된 세 가지 자산 모두에서 총수익률과 샤프 비율 기준 1위를 기록함을 보여줍니다. 이러한 결과는 학습된 행동과 변동성 인식 국면 사전 지식을 혼합하는 것이 위험 조정 트레이딩 동작을 개선하는 실용적인 방법임을 시사하지만, 현재 정책은 여전히 높은 회전율을 수반하며 SPY를 넘어선 교차 자산 견고성은 단일 실행 증거로 제한되어 있습니다.
AutoGym: 검증 가능한 에이전트 Gym의 청사진 우선 생성
AutoGym: Blueprint-First Generation of Verifiable Agent Gyms
강화학습(RL)으로 에이전트(agent)를 학습(training)시키려면 작업(task), 해당 작업을 시도할 수 있는 실행 가능한 환경(environment), 그리고 성공과 실패를 안정적으로 판별하는 검증기(verifier)로 구성된 gym이 필요합니다. 이러한 gym을 구축하는 작업은 여전히 수작업에 의존하며 비용이 많이 들고 정적입니다. 모델(model)이 발전함에 따라 작업 세트는 포화 상태에 이르고 데이터 오염에 점점 더 노출됩니다. 합성 생성을 통해 확장성을 확보할 수 있지만, 단일 패스(single-pass) 합성은 난이도가 주로 표면적인 수준에 불과한 작업을 생성합니다. 복잡한 문장 표현에도 불구하고 비슷한 수준의 성능을 가진 모델들이 이를 해결하며, 정답 여부는 신뢰할 수 없는 대규모 언어 모델(LLM) 심사위원에 의해 사후에 판별되어야 합니다. 본 논문에서는 최소한의 도메인 시드나 이전 모델의 궤적(trajectory)으로부터 완전한 gym(작업, 실행 가능한 환경, 검증기)을 생성하는 프레임워크인 AutoGym을 제시합니다. AutoGym은 세 가지 메커니즘을 도입합니다. (1) 청사진 우선(blueprint-first) 생성은 환경이 구체화되기 전에 유효한 솔루션 공간, 환경 요구 사항 및 검증 기준을 지정함으로써, 해결 가능성(solvability)을 사후에 검증하는 속성이 아닌 구축의 전제 조건으로 만듭니다. (2) 명시적 생성 파라미터는 작업 토폴로지, 상호작용 깊이, 능력 축, 질문 난독화, 방해 요소 구성을 제어하여 세밀한 난이도 조정을 가능하게 합니다. (3) 능동형 커리큘럼 합성은 모델의 능력이 발전함에 따라 성능 정보를 반영한 캘리브레이션을 활용해 이러한 파라미터에 대한 분포를 조정합니다. 생산성 및 시간적 추론 환경 전반에서 AutoGym은 프론티어 모델에 도전하는 사례를 포함하여 다양한 능력 스펙트럼에 걸친 gym을 생성합니다.
Conduit: 분산 강화학습을 위한 경험 데이터 플레인
Conduit: An Experience Data Plane for Distributed Reinforcement Learning
분산 강화학습(RL)은 경험 버퍼(Experience Buffer)를 중심으로 액터(actor)와 러너(learner)를 병렬화하여 학습(training)을 확장합니다. 그러나 강화학습 워크로드가 증가함에 따라 버퍼는 단순한 리플레이 큐를 넘어섭니다. 즉, 러너 업데이트를 시작하기 전에 경험을 이동, 변환, 샘플링 및 배치(batch) 처리하기 위해 매 반복(iteration)마다 거쳐야 하는 대용량 및 지연시간에 민감한 경험 경로의 스토리지 기저 역할을 하게 됩니다. 기존 강화학습 시스템은 이러한 경로를 프레임워크 제어 흐름 내부에 내장하거나 요청 기반 버퍼 서비스 형태로 노출하므로, 경험 배치가 고정되고 경험 경로 작업을 런타임 수준의 최적화 대상으로 독립적으로 스케줄링하기 어렵습니다. 본 논문에서는 강화학습 경험 관리를 명시적인 시스템 최적화 문제로 드러내는 프레임워크 비종속적 런타임인 Conduit을 제안합니다. Conduit의 핵심은 경험 수집, 경험 배치, 경험 전달을 명시적인 제어 지점으로 노출함으로써 강화학습 경험 처리 의미론을 프레임워크별 실행 로직과 분리하는 런타임 추상화인 경험 데이터 플레인(EDP)입니다. EDP를 기반으로 구축된 Conduit은 이기종 인터커넥트 및 디바이스 메모리 제약 하에서 CPU/GPU 메모리 계층 및 노드 전반에 경험 상태를 분산시키는 용량 제약 및 대역폭 인지 배치와, 강화학습 의미론을 유지하면서 노출되는 경험 경로 지연시간을 줄이기 위해 경험 경로 처리가 실행되는 시점을 제어하는 지연시간 인지 스케줄링을 도입합니다. RLlib의 프레임워크 실행 로직을 변경하지 않고 통합된 Conduit은 노출된 경험 경로 지연시간을 최대 97%, 엔드투엔드 반복 지연시간을 최대 38% 줄이고, 1,024개의 GPU까지 확장되며, 수렴(convergence)을 보존합니다.
SOV-CAD: 단계적 정사영 뷰 기반 CAD 모델링 시퀀스 재구성
SOV-CAD: Stepwise Orthographic Views Guided CAD Modeling Sequence Reconstruction
이미지로부터 컴퓨터 지원 설계(CAD) 모델링 시퀀스를 재구성하는 것은 설계 의도를 보존하고 파라메트릭 편집을 지원하는 데 매우 중요합니다. 그러나 기존 방법들은 대개 전체 CAD 시퀀스를 일괄적으로 생성하며, 인간 설계 워크플로우의 반복적이고 피드백 기반의 특성을 간과합니다. 우리는 풍부한 단계적 시각적 감독을 도입하여 이 한계를 해결합니다: 각 모델링 단계에서 시스템은 목표물의 정사영(orthographic projection), 점진적으로 구성된 모델의 정사영, 그리고 활성 스케치를 관찰하여 정보에 기반한 행동 선택을 가능하게 합니다. 이러한 실시간 피드백을 효과적으로 활용하기 위해, 우리는 CAD 재구성을 순차적 의사결정 태스크로 정식화하고 Decision 트랜스포머 아키텍처를 활용한 오프라인 강화학습을 적용하는 프레임워크인 SOV-CAD를 제안합니다. 이 설계는 기하학적 정렬 보상에 의해 안내되는 지속적인 시각적 피드백을 통합하여 보다 정확하고 인간과 유사한 모델링 과정을 구현합니다. 광범위한 실험을 통해 SOV-CAD가 CAD 시퀀스 재구성에서 최신 방법들을 능가하면서 강력한 데이터 효율성을 보임을 확인했습니다. SOV-CAD 코드는 https://github.com/LukePhong/SOV-CAD 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.