Prospect Theory-inspired Automated P2P Energy Trading with Q-learning-based Dynamic Pricing
원문 초록
The widespread adoption of distributed energy resources, and the advent of smart grid technologies, have allowed traditionally passive power system users to become actively involved in energy trading. Recognizing the fact that the traditional centralized grid-driven energy markets offer minimal profitability to these users, recent research has shifted focus towards decentralized peer-to-peer (P2P) energy markets. In these markets, users trade energy with each other, with higher benefits than buying or selling to the grid. However, most researches in P2P energy trading largely overlook the user perception in the trading process, assuming constant availability, participation, and full compliance. As a result, these approaches may result in negative attitudes and reduced engagement over time. In this paper, we design an automated P2P energy market that takes user perception into account. We employ prospect theory to model the user perception and formulate an optimization framework to maximize the buyer's perception while matching demand and production. Given the non-linear and non-convex nature of the optimization problem, we propose Differential Evolution-based Algorithm for Trading Energy called DEbATE. Additionally, we introduce a risk-sensitive Q-learning algorithm, named Pricing mechanism with Q-learning and Risk-sensitivity (PQR), which learns the optimal price for sellers considering their perceived utility. Results based on real traces of energy consumption and production, as well as realistic prospect theory functions, show that our approach achieves a 26% higher perceived value for buyers and generates 7% more reward for sellers, compared to a recent state of the art approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
심층 강화학습에서 상태 표현이 중요하다: 에너지 거래에의 적용
State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading
에너지 거래 결정은 현재 시장 가격뿐만 아니라 예상되는 미래 시장 상황과 운영 제약 조건에도 의존한다. 이로 인해 강화학습 에이전트에 주어지는 상태 표현은 중요한 설계 선택이 된다. 우리는 고정된 Double DQN 에이전트를 사용하여 양수 발전 차익 거래 환경인 HydroDam에서 이를 연구한다. 환경, 행동 공간, 보상 함수, 네트워크, 학습 프로토콜은 고정하고 시장 특징만 변경한다. 우리는 절대 가격/캘린더 특징, 현재 가격을 최근 시장 이력과 비교하는 상대 특징, 예측 특징, 그리고 이 세 가지 특징 군의 모든 조합을 비교한다. 정책은 2007–2011년 벨기에 당일 가격을 사용하여 학습 및 선택되며, 두 가지 테스트 설정에서 평가된다: 2012–2025년의 동일 시장 테스트 세트와 39개의 다른 ENTSO-E 시장 구역. 절대 특징만 사용할 경우 테스트 세트에서 28.8%, 구역 전반의 중앙값 5.7%에 그친다. 상대 특징만 사용하거나 예측 특징만 사용하는 상태도 구역 간 교차 중앙값에서 롤링 가격 점수 휴리스틱 이하에 머문다. 특징 군을 결합하면 성능이 크게 향상된다: 절대 + 상대 특징은 테스트 세트에서 49.9%, 구역 간 교차 중앙값 39.8%에 달하며, 절대 + 상대 + 예측 특징은 55.6%와 47.5%에 이른다. 이러한 결과는 저장 거래 강화학습에서 상태 표현이 단순한 전처리 선택이 아니라 정책 설계의 핵심 요소임을 시사한다. 강건한 전이(transfer)를 위해서는 단일 특징 군에 의존하는 것이 아니라 가격 규모, 최근 상대 가격 맥락, 단기 예측 정보를 결합해야 한다.
스트리밍 심층 강화학습이 마침내 작동하다
Streaming Deep Reinforcement Learning Finally Works
경험이 도착하는 대로 스트림 형태로 학습하는 것, 즉 스트리밍 학습(streaming learning)은 자연스러운 학습의 핵심 요소이다. 그러나 신뢰할 수 있는 스트리밍 학습은 현대 심층 강화학습(RL)에서 지속적인 난제로 남아있다. 대신 대부분의 심층 RL 알고리즘은 과거의 상호작용을 버퍼에 저장하여 오래된 경험으로부터 학습한다. 우리는 Q-러닝(Q-learning) 및 액터-크리틱(actor-critic)과 같은 고전적 스트리밍 RL을 심층 신경망과 함께 사용할 때, 그리고 PPO, SAC, DQN과 같은 배치 심층 RL을 스트리밍 설정에 맞게 적용할 때 모두 종종 학습에 실패함을 보인다. 58개의 Atari 게임과 50개의 연속 제어(continuous-control) 과제 전반에서, 우리는 광범위한 과제별 하이퍼파라미터 탐색에도 불구하고 이러한 방법들이 종합적으로 무작위 정책(random policy)에 가까운 성능을 보임을 발견하였다. 우리는 이 패턴을 스트림 장벽(stream barrier)이라 부른다. 여기서 우리는 신호 정규화(signal normalization), 표현 안정화(representation stabilization), 통제된 매개변수 업데이트(controlled parameter updates)를 결합한, 스트리밍 심층 RL 알고리즘을 위한 공유 레시피인 Stream-X를 소개한다. Stream-X를 여러 기본 스트리밍 RL 알고리즘에 적용함으로써, 우리는 스트림 장벽을 극복한 최초의 심층 RL 알고리즘군을 제공한다. 과제 전반에 걸쳐 알고리즘별로 하나의 지정된 하이퍼파라미터 구성을 사용하여, Stream-X는 종합 성능을 크게 향상시키며 이는 종종 배치 RL 알고리즘과 대등한 수준이다. 이러한 벤치마크를 넘어, 우리는 비정상성(nonstationarity)과 자원 제약(resource constraints) 하에서 Stream-X 알고리즘을 이용한 학습을 시연한다. Stream-X 알고리즘 중 하나인 Stream-AC는 시뮬레이션에서 교대로 바뀌는 바닥 마찰(floor-friction) 환경 전반에 걸쳐 성능을 반복적으로 회복하며, 평가된 PPO 및 SAC 베이스라인을 능가한다. 또한 자연스럽게 변화하는 실험실 환경에서 온보드 카메라의 고유수용성(proprioceptive) 및 시각적 특징을 사용하여 로봇의 헤딩 추적(heading tracking) 과제를 학습한다. Stream-Q는 제한된 연산 및 메모리를 가진 장치인 ESP32-S3 마이크로컨트롤러 상에서 픽셀로부터 직접 퐁(Pong) 게임을 학습한다.
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
ADDQ: Adaptive Distributional Double Q-Learning
Evaluating the Impact of Model Accuracy for Optimizing Battery Energy Storage Systems
Inverse Q-Learning Done Right: Offline Imitation Learning in $Q^π$-Realizable MDPs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.