Solving the single-track train scheduling problem via Deep Reinforcement Learning
원문 초록
Every day, railways experience disturbances and disruptions, both on the network and the fleet side, that affect the stability of rail traffic. Induced delays propagate through the network, which leads to a mismatch in demand and offer for goods and passengers, and, in turn, to a loss in service quality. In these cases, it is the duty of human traffic controllers, the so-called dispatchers, to do their best to minimize the impact on traffic. However, dispatchers inevitably have a limited depth of perception of the knock-on effect of their decisions, particularly how they affect areas of the network that are outside their direct control. In recent years, much work in Decision Science has been devoted to developing methods to solve the problem automatically and support the dispatchers in this challenging task. This paper investigates Machine Learning-based methods for tackling this problem, proposing two different Deep Q-Learning methods(Decentralized and Centralized). Numerical results show the superiority of these techniques with respect to the classical linear Q-Learning based on matrices. Moreover, the Centralized approach is compared with a MILP formulation showing interesting results. The experiments are inspired by data provided by a U.S. Class 1 railroad.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Task Independent Capsule-Based Agents for Deep Q-Learning
Deep Reinforcement Learning Based Power Allocation for D2D Network
Actor-Critic Deep Reinforcement Learning for Solving Job Shop Scheduling Problems
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.
양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습
Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.
극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기
Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons
가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.