arXiv:2209.07744

Reinforcement Learning-Based Cooperative P2P Power Trading between DC Nanogrid Clusters with Wind and PV Energy Resources

Sangkeum Lee, Sarvar Hussain Nengroo, Hojun Jin, Taewook Heo, Yoonmee Doh, Chungho Lee, Dongsoo Har

제출 2022-09-16

원문 초록

In replacing fossil fuels with renewable energy resources for carbon neutrality, the unbalanced resource production of intermittent wind and photovoltaic (PV) power is a critical issue for peer-to-peer (P2P) power trading. To address this issue, a reinforcement learning (RL) technique is introduced in this paper. For RL, a graph convolutional network (GCN) and a bi-directional long short-term memory (Bi-LSTM) network are jointly applied to P2P power trading between nanogrid clusters, based on cooperative game theory. The flexible and reliable DC nanogrid is suitable for integrating renewable energy for a distribution system. Each local nanogrid cluster takes the position of prosumer, focusing on power production and consumption simultaneously. For the power management of nanogrid cluster, multi-objective optimization is applied to each local nanogrid cluster with the Internet of Things (IoT) technology. Charging/discharging of an electric vehicle (EV) is executed considering the intermittent characteristics of wind and PV power production. RL algorithms, such as GCN- convolutional neural network (CNN) layers for deep Q-learning network (DQN), GCN-LSTM layers for deep recurrent Q-learning network (DRQN), GCN-Bi-LSTM layers for DRQN, and GCN-Bi-LSTM layers for proximal policy optimization (PPO), are used for simulations. Consequently, the cooperative P2P power trading system maximizes the profit by considering the time of use (ToU) tariff-based electricity cost and the system marginal price (SMP), and minimizes the amount of grid power consumption. Power management of nanogrid clusters with P2P power trading is simulated on a distribution test feeder in real time, and the proposed GCN-Bi-LSTM-PPO technique achieving the lowest electricity cost among the RL algorithms used for comparison reduces the electricity cost by 36.7%, averaging over nanogrid clusters.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13901v1stat.ML공통 태그 Reinforcement Learning (RL), Q-Learning

비동기 Q-러닝에 대한 도달 시간 경계

Hitting-Time Bounds for Asynchronous Q-Learning

우리는 유한 마르코프 결정 과정(Markov decision process)의 단일 궤적(trajectory)으로부터 표준 비동기 Q-러닝의 마지막 반복값(last iterate)을 연구한다. 이 궤적은 상태-행동 연쇄(state-action chain)가 기약적(irreducible)이고 주기적(periodic)일 수 있는 고정된 행동 정책(behavior policy)을 따른다. 할인율(discount factor) $γ$에 대해 $H=(1-γ)^{-1}$로 표기하고, $μ_{\min}$을 최소 정상 상태-행동 확률(stationary state-action probability), $\mathfrak h_\star$를 역방향 상태-행동 연쇄의 최대 기대 적중 시간(hitting time)으로 정의한다. 우리는 $0<\varepsilon\le1$에 대해, 상수 스텝 크기(step size)를 사용하는 0으로 초기화된 Q-러닝이 $\widetilde{O}(H^4/(μ_{\min}\varepsilon^2)+\mathfrak h_\star)$개의 전이(transition)를 사용하여 높은 확률로 최대 $\varepsilon$의 sup-노름(sup-norm) 오차를 달성함을 증명한다. 통계적 항은 표준 Q-러닝의 4차 유효 지평(effective horizon) 의존성을 그대로 유지하며, 초기화 비용은 $\mathfrak h_\star$에 가산적으로 더해진다. 비주기적(aperiodic) 행동 연쇄의 경우, 혼합 시간(mixing time)과의 비교를 통해 $\widetilde{O}(t_{\mathrm{mix}}/μ_{\min})$의 과도 항(transient term)을 얻는다. 경험적 상태-행동 카운트 규칙(empirical state-action count rule)은 이후의 학습 실행(training run)을 위한 상수 스텝 크기를 선택하며, 모델 매개변수, 목표 정확도, 신뢰 수준에 대한 사전 지식 없이도 동일한 비율을 달성한다. 출력값은 마지막 학습 반복값이며, 두 단계 모두 샘플 수에 포함된다. 증명은 두 개의 결정론적 벨만 외피(Bellman envelope)를 사용하여 통계적 오차와 고정 정책 초기화 오차를 분리하며, TD 학습(TD learning)의 역시간 적중 비용 보정(reverse-time hitting-cost compensation)을 상태-행동 전파(state-action propagation)에 맞게 적용한다. 임의의 예측 가능한(predictable) 스텝 크기에 대해 탐험(exploration) 하한이 성립한다. 기존의 통계적 하한 및 파일럿으로 선택된 상수 스텝으로의 확장과 결합하면, 명시된 대규모 샘플 매개변수(parameter) 클래스에서 로그 인자(logarithmic factor)까지 일치하는 평균제곱 비율(mean-square rate)을 얻는다.

arXiv:2606.27032v1cs.LG공통 태그 Q-Learning, energy trading

심층 강화학습에서 상태 표현이 중요하다: 에너지 거래에의 적용

State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading

에너지 거래 결정은 현재 시장 가격뿐만 아니라 예상되는 미래 시장 상황과 운영 제약 조건에도 의존한다. 이로 인해 강화학습 에이전트에 주어지는 상태 표현은 중요한 설계 선택이 된다. 우리는 고정된 Double DQN 에이전트를 사용하여 양수 발전 차익 거래 환경인 HydroDam에서 이를 연구한다. 환경, 행동 공간, 보상 함수, 네트워크, 학습 프로토콜은 고정하고 시장 특징만 변경한다. 우리는 절대 가격/캘린더 특징, 현재 가격을 최근 시장 이력과 비교하는 상대 특징, 예측 특징, 그리고 이 세 가지 특징 군의 모든 조합을 비교한다. 정책은 2007–2011년 벨기에 당일 가격을 사용하여 학습 및 선택되며, 두 가지 테스트 설정에서 평가된다: 2012–2025년의 동일 시장 테스트 세트와 39개의 다른 ENTSO-E 시장 구역. 절대 특징만 사용할 경우 테스트 세트에서 28.8%, 구역 전반의 중앙값 5.7%에 그친다. 상대 특징만 사용하거나 예측 특징만 사용하는 상태도 구역 간 교차 중앙값에서 롤링 가격 점수 휴리스틱 이하에 머문다. 특징 군을 결합하면 성능이 크게 향상된다: 절대 + 상대 특징은 테스트 세트에서 49.9%, 구역 간 교차 중앙값 39.8%에 달하며, 절대 + 상대 + 예측 특징은 55.6%와 47.5%에 이른다. 이러한 결과는 저장 거래 강화학습에서 상태 표현이 단순한 전처리 선택이 아니라 정책 설계의 핵심 요소임을 시사한다. 강건한 전이(transfer)를 위해서는 단일 특징 군에 의존하는 것이 아니라 가격 규모, 최근 상대 가격 맥락, 단기 예측 정보를 결합해야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.