링크 흐름 전파 안내 기반 강화학습을 활용한 동적 기종점 통행량 행렬의 온라인 추정
Online Estimation of Dynamic Origin-Destination Matrices Using Reinforcement Learning with Link-Flow Propagation Guidance
동적 기종점(OD, Origin-Destination) 행렬 추정은 관측된 링크 흐름(link flow)을 재현하도록 시뮬레이션을 위한 시변 입력 수요를 보정합니다. 학습된 정책이 단 한 번의 평가(evaluation)만으로 수요를 추정할 수 있기 때문에 강화학습(reinforcement learning)은 온라인 추정에 매우 적합하지만, 변동하는 목표 흐름으로 인해 집계된 보상(aggregate reward) 기반의 학습이 복잡해집니다. 본 연구에서는 시뮬레이션된 차량 전파 기록과 다운스트림 오류를 결합하여 개별 OD 요소를 유도하는 링크 흐름 전파 안내 기반 강화학습(LFPG-RL)을 제안합니다. 멜버른 간선 도로망에서 수집한 250개 평일 링크 흐름 궤적을 사용한 결과, LFPG-RL은 15분 간격당 평균 테스트 평균 제곱근 오차(RMSE) 7.41대, 평균 절대 백분율 오차 31.24%, 피어슨 상관계수 0.987을 달성했습니다. 최적화, 필터링, 그리고 안내가 없는 강화학습과의 비교 결과, 가장 강력한 기준선(baseline)인 전파 안내 기반 경사하강법(gradient descent) 대비 RMSE가 40.1% 감소했습니다. LFPG-RL은 빠른 수요 업데이트를 가능하게 하여 교통 시뮬레이션이 관측된 조건과 일치하도록 유지함으로써 교통 관리 전략의 평가를 지원합니다.