확장 가능하고 샘플 효율적인 심층 강화학습을 위한 직접 어드밴티지 추정
Direct Advantage Estimation for Scalable and Sample-efficient Deep Reinforcement Learning
한국어 초록
직접 어드밴티지 추정(Direct Advantage Estimation, DAE)은 심층 강화학습 알고리즘의 샘플 효율성을 개선하는 것으로 나타났습니다. 그러나 완전한 환경 관측 가능성(full environment observability)에 대한 의존성으로 인해 현실적인 설정에서의 적용 가능성이 제한되며, 천이 확률(transition probabilities)을 모델링해야 한다는 요구 사항은 고차원 관측에 대해 상당한 계산 오버헤드를 유발합니다. 본 연구에서는 이러한 두 가지 제한 사항을 모두 해결합니다. 첫째, 최소한의 수정만으로 DAE의 이론적 프레임워크를 부분적으로 관측 가능한 도메인으로 확장합니다. 둘째, 천이 확률을 효율적으로 근사하는 이산 잠재 역학 모델(discrete latent dynamics models)을 도입하여 계산 복잡도를 낮춥니다. Arcade Learning Environment에서 본 방법을 평가한 결과, DAE는 높은 샘플 효율성을 유지하면서 함수 근사기(function approximator)의 용량에 따라 효과적으로 확장됨을 확인했습니다.
원문 초록
Direct Advantage Estimation (DAE) has been shown to improve the sample efficiency of deep reinforcement learning algorithms. However, its reliance on full environment observability limits its applicability in realistic settings, and its requirement to model transition probabilities incurs substantial computational overhead for high-dimensional observations. In the present work, we address both limitations. First, we extend the theoretical framework of DAE to partially observable domains with minimal modifications. Second, we reduce its computational complexity by introducing discrete latent dynamics models that efficiently approximate transition probabilities. We evaluate our approach on the Arcade Learning Environment and find that DAE scales effectively with function approximator capacity while retaining high sample efficiency.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20411v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
보상은 강화 학습(RL)의 주된 학습 신호이다. 그러나 보상의 크기는 보통 학습 내내 고정되는 반면, 그 시간적 조절은 아직 충분히 탐구되지 않았다. 본 논문은 학습이 진행되는 동안 보상을 점진적으로 스케일링하는 보상 인플레이션(reward inflation)을 제안하고, 이것이 RL에 건강한 자극으로 작용할 수 있음을 보인다. 이론적으로 보상 인플레이션은 정책 갱신 중 최근 전이에 더 큰 가중을 두는 암묵적 최신성 가중을 유도하여 더 빠른 적응을 가능하게 한다. 또한 보상 인플레이션이 정책이 포화될 때 그래디언트 신호를 유지함으로써 휴면 뉴런의 출현을 억제함을 보이며, 이는 가소성 보존에 기여할 가능성을 시사한다. ALE 게임과 MuJoCo 과제에 대한 실험 결과는 이러한 발견을 뒷받침하며, 적절한 수준의 보상 인플레이션이 광범위한 과제에 이롭다는 것을 보여 준다. 마지막으로 인플레이션 수준을 즉석에서 조정하는 적응형 변형인 Fed를 도입하며, 이것이 고정된 인플레이션보다 자주 성능을 향상시킨다는 것을 확인한다. 소스 코드는 https://github.com/northadventure/RewardInflation 에서 이용할 수 있다.
올바른 보상만으로는 충분하지 않을 때: 해석적으로 풀린 브로커-트레이더 게임에서 PPO 진단 및 유도
When a Correct Reward Is Not Enough: Diagnosing and Guiding PPO in an Analytically Solved Broker-Trader Game
복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.
PPO-HRAP: 위험 제어 트레이딩을 위한 하이브리드 국면 인식 정책 기반 근접 정책 최적화
PPO-HRAP: Proximal Policy Optimization with a Hybrid Regime-Aware Policy for Risk-Controlled Trading
트레이딩을 위한 강화학습(RL)은 상승장 참여와 낙폭(drawdown) 제어 사이의 균형을 맞추는 데 종종 어려움을 겪습니다. 수익만을 추구하는 정책은 상승 추세 자산에 대해 수동적인 매수 포지션(long exposure)으로 귀결될 수 있는 반면, 위험에 대해 과도한 페널티를 부과하는 보상은 변동성 국면에서 지나치게 방어적으로 변할 수 있습니다. 본 논문에서는 근접 정책 최적화(PPO)와 해석 가능한 국면 사전 지식(regime prior)을 결합한 하이브리드 국면 인식 정책인 PPO-HRAP을 제안합니다. 에이전트는 시장 특성과 포트폴리오 상태 변수를 모두 관측하고, 포트폴리오 로그 수익률, VIX 조건부 낙폭 증가 페널티, 목표 익스포저 편차 및 회전율 비용을 결합한 보상을 받으며, PPO 액터 출력과 국면에서 도출된 목표 익스포저를 혼합한 행동을 실행합니다. 2020-2022년의 SPY 분리 테스트 기간 동안, PPO-HRAP은 27.62%의 총수익률, 8.48%의 연율화 수익률, 0.6447의 샤프 비율(Sharpe ratio), 0.8588의 소르티노 비율(Sortino ratio), 0.4592의 칼마 비율(Calmar ratio)을 달성하는 동시에, 매수 후 보유(Buy and Hold) 방식의 최대 낙폭을 34.10%에서 18.47%로 줄였습니다. 5개의 SPY 시드 전반에 걸쳐 PPO-HRAP은 평균 총수익률 $0.2725 \pm 0.0109$, 평균 샤프 비율 $0.6219 \pm 0.0565$로 안정성을 유지했습니다. QQQ 및 DIA에 대한 단일 실행 교차 자산 테스트에서도 제안된 방법이 보고된 세 가지 자산 모두에서 총수익률과 샤프 비율 기준 1위를 기록함을 보여줍니다. 이러한 결과는 학습된 행동과 변동성 인식 국면 사전 지식을 혼합하는 것이 위험 조정 트레이딩 동작을 개선하는 실용적인 방법임을 시사하지만, 현재 정책은 여전히 높은 회전율을 수반하며 SPY를 넘어선 교차 자산 견고성은 단일 실행 증거로 제한되어 있습니다.
양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습
Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.
EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL
EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management
체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.
잡 샵 스케줄링을 위한 GNN 기반 강화학습에서의 커리큘럼 러닝
Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling
잡 샵 스케줄링 문제(job shop scheduling problem)는 까다로운 조합 최적화(combinatorial optimization) 문제이며, 최근 그래프 신경망(GNN)을 활용한 강화학습(RL) 접근법은 문제 인스턴스로부터 스케줄링 정책을 직접 학습하는 데 유망함을 보여주었다. 그러나 대규모 인스턴스에 대한 학습은 여전히 연산 비용이 많이 들고, 다양한 인스턴스 크기에 걸친 일반화는 여전히 어려운 과제로 남아 있다. 본 논문에서는 잡 샵 스케줄링 문제에서 그래프 신경망 기반 강화학습을 위한 커리큘럼 러닝(curriculum learning)을 연구하며, 세 가지 타깃 크기인 20 x 20, 25 x 25, 30 x 30에 대해 단일 크기 학습(single-size training)과 비교한다. 커리큘럼 환경에서는 정책을 먼저 더 작은 인스턴스에서 학습시킨 후 점진적으로 더 큰 타깃 크기에 적응시켜, 초기 단계에서 학습된 스케줄링 동작이 더 큰 인스턴스에서의 학습을 뒷받침하도록 한다. 모델은 모든 평가 크기에 걸친 일반화와 타깃 크기에 대한 특화(specialization)를 모두 고려하여, 최적성 갭(optimality gap)을 사용해 8 x 8부터 30 x 30까지의 미확인(unseen) 인스턴스에서 평가된다. 실험 결과에 따르면 커리큘럼 러닝은 실제 학습 소요 시간(wall-clock training time)을 일관되게 단축하며, 타깃 크기가 커질수록 그 이점이 더 커지는 것으로 나타났다. 가장 강력한 이점은 30 x 30에서 관찰되었는데, 커리큘럼 러닝은 모든 평가 크기에 걸친 평균 최적성 갭을 약 8.1%포인트 줄이고, 타깃 크기의 평균 최적성 갭을 약 8.6%포인트 줄였으며, 학습 시간을 약 50시간 절약했다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.