Decentralized Microgrid Energy Management: A Multi-agent Correlated Q-learning Approach
원문 초록
Microgrids (MG) are anticipated to be important players in the future smart grid. For proper operation of MGs an Energy Management System (EMS) is essential. The EMS of an MG could be rather complicated when renewable energy resources (RER), energy storage system (ESS) and demand side management (DSM) need to be orchestrated. Furthermore, these systems may belong to different entities and competition may exist between them. Nash equilibrium is most commonly used for coordination of such entities however the convergence and existence of Nash equilibrium can not always be guaranteed. To this end, we use the correlated equilibrium to coordinate agents, whose convergence can be guaranteed. In this paper, we build an energy trading model based on mid-market rate, and propose a correlated Q-learning (CEQ) algorithm to maximize the revenue of each agent. Our results show that CEQ is able to balance the revenue of agents without harming total benefit. In addition, compared with Q-learning without correlation, CEQ could save 19.3% cost for the DSM agent and 44.2% more benefits for the ESS agent.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
심층 강화학습에서 상태 표현이 중요하다: 에너지 거래에의 적용
State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading
에너지 거래 결정은 현재 시장 가격뿐만 아니라 예상되는 미래 시장 상황과 운영 제약 조건에도 의존한다. 이로 인해 강화학습 에이전트에 주어지는 상태 표현은 중요한 설계 선택이 된다. 우리는 고정된 Double DQN 에이전트를 사용하여 양수 발전 차익 거래 환경인 HydroDam에서 이를 연구한다. 환경, 행동 공간, 보상 함수, 네트워크, 학습 프로토콜은 고정하고 시장 특징만 변경한다. 우리는 절대 가격/캘린더 특징, 현재 가격을 최근 시장 이력과 비교하는 상대 특징, 예측 특징, 그리고 이 세 가지 특징 군의 모든 조합을 비교한다. 정책은 2007–2011년 벨기에 당일 가격을 사용하여 학습 및 선택되며, 두 가지 테스트 설정에서 평가된다: 2012–2025년의 동일 시장 테스트 세트와 39개의 다른 ENTSO-E 시장 구역. 절대 특징만 사용할 경우 테스트 세트에서 28.8%, 구역 전반의 중앙값 5.7%에 그친다. 상대 특징만 사용하거나 예측 특징만 사용하는 상태도 구역 간 교차 중앙값에서 롤링 가격 점수 휴리스틱 이하에 머문다. 특징 군을 결합하면 성능이 크게 향상된다: 절대 + 상대 특징은 테스트 세트에서 49.9%, 구역 간 교차 중앙값 39.8%에 달하며, 절대 + 상대 + 예측 특징은 55.6%와 47.5%에 이른다. 이러한 결과는 저장 거래 강화학습에서 상태 표현이 단순한 전처리 선택이 아니라 정책 설계의 핵심 요소임을 시사한다. 강건한 전이(transfer)를 위해서는 단일 특징 군에 의존하는 것이 아니라 가격 규모, 최근 상대 가격 맥락, 단기 예측 정보를 결합해야 한다.
AI-Based Demand Forecasting and Load Balancing for Optimising Energy use in Healthcare Systems: A real case study
Behavioral Generative Agents for Energy Operations
Can Time-Series Foundation Models Perform Building Energy Management Tasks?
Model Predictive Control-Based Optimal Energy Management of Autonomous Electric Vehicles Under Cold Temperatures
A Data-driven Predictive Control Architecture for Train Thermal Energy Management
토론
이 논문과 연결된 포럼 글이 아직 없습니다.