arXiv:2409.19568

Methods for Mitigating Uncertainty in Real-Time Operations of a Connected Microgrid

Subrat Prasad Panda, Blaise Genest, Arvind Easwaran, Rémy Rigo-Mariani, Pengfeng Lin

제출 2024-09-29

원문 초록

In this paper, we compare the effectiveness of a two-stage control strategy for the energy management system (EMS) of a grid-connected microgrid under uncertain solar irradiance and load demand using a real-world dataset from an island in Southeast Asia (SEA). The first stage computes a day-ahead commitment for power profile exchanged with the main grid, while the second stage focuses on real-time controls to minimize the system operating cost. Given the challenges in accurately forecasting solar irradiance for a long time horizon, scenario-based stochastic programming (SP) is considered for the first stage. For the second stage, as the most recent weather conditions can be used, several methodologies to handle the uncertainties are investigated, including: (1) the rule-based method historically deployed on EMS, (2) model predictive controller (MPC) using either an explicit forecast or scenario-based stochastic forecast, and (3) Deep Reinforcement Learning (DRL) computing its own implicit forecast through a distribution of costs. Performances of these methodologies are compared in terms of precision with a reference control assuming perfect forecast -- i.e. representing the minimal achievable operation cost in theory. Obtained results show that MPC with a stochastic forecast outperforms MPC with a simple deterministic prediction. This suggests that using an explicit forecast, even within a short time window, is challenging. Using weather conditions can, however, be more efficient, as demonstrated by DRL (with implicit forecast), outperforming MPC with stochastic forecast by 1.3\%.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.06489v1cs.AI공통 태그 Deep Reinforcement Learning, energy management

낙농장에서의 다목적 배터리 관리를 위한 다중 에이전트 심층 강화학습

Multi-Agent Deep Reinforcement Learning for Multi Objective Battery Management in Dairy Farms

아일랜드 낙농 산업은 재생에너지 통합 및 탄소 배출 감소 측면에서 큰 잠재력을 지니고 있다. 그러나 분산 발전 제어 연구는 주로 주거 및 상업 분야에 집중되어 있다. 낙농 분야에서의 효과적인 재생에너지 통합에 기여하기 위해, 본 논문은 차등 진화(differential evolution)와 다중 에이전트 심층 강화학습에 기반한 다목적 최적화 제어 시스템을 제안한다. 제안된 제어 시스템은 두 개의 층으로 구성된다: 상위 층은 동적 가격 책정을 활용하고, 하위 층은 배터리 관리를 위한 다중 에이전트 강화학습에 기반한다. 또한 본 논문은 농촌 배전 회로에서 제안된 제어 시스템의 전기적 응답을 시뮬레이션한다. 시뮬레이션 결과, 제안된 제어 프레임워크는 규칙 기반 모델 대비 에너지 차익거래(energy arbitrage) 수익을 최대 18%까지 향상시키고, 비용을 크게 증가시키지 않으면서 분산 발전 활용도를 높이며, 전압 변동 측면에서 아일랜드 전력망 규정을 준수함을 보인다.

arXiv:2607.02137v5cs.LG공통 태그 Deep Reinforcement Learning

점수 기반 확산 샘플링을 위한 적응적 재매개변수화 시간

Adaptive Reparametrized Time for Score-Based Diffusion Sampling

본 논문은 학습된 역시간 동역학을 유한한 격자에서 이산화하는 점수 기반 확산 샘플링의 시간 간격 할당을 연구한다. 균일 스케줄과 수작업 스케줄이 표준으로 쓰이지만, 이들의 고정적이고 임의적인 규정은 최적이 아닐 수 있다. 본 논문은 샘플링 시계의 속도를 제어로 취급하여 시간 변환을 학습하는 연속시간 제어 정식화인 적응적 재매개변수화 시간(ART)을 제안한다. 학습된 시계에서의 균일 격자는 확산 시간에서 적응적인 시간 간격을 유도하며, 오일러 오차의 최저차 대리 지표가 할당 목적함수를 정의한다. 그 결과로 얻어지는 고차원 결정론적 제어 문제를 풀기 위해, 스케줄 학습을 연속시간 강화학습으로 전환하는 보조적 무작위 가우시안 정책 정식화인 ART-RL을 도입한다. 최적에서 ART-RL이 ART와 동등함을, 즉 최적 가우시안 정책의 평균이 ART를 푼다는 것을 증명한다. 또한 정책 평가와 정책 개선의 특성화를 확립하고, 구현 가능한 액터-크리틱 갱신을 이끄는 궤적 기반 모멘트 항등식을 유도한다. 통제된 저차원 설정부터 이미지 생성에 이르는 실험은, ART로 학습된 스케줄을 시간 격자만 바꾸어 기존 샘플러에 적용했을 때 동일한 예산에서 강력한 기준선보다 샘플 품질이 일관되게 향상됨을 보여준다. 학습된 스케줄은 또한 재학습 없이 샘플링 예산, 데이터셋, 솔버, 파이프라인, 표현 공간 전반으로 전이되는 폭넓은 일반화 능력을 보인다.

arXiv:2606.27025v2cs.CL공통 태그 Deep Reinforcement Learning

심리학 기반 추론과 역할 인식 정책 최적화를 통한 일반 역할 연기 에이전트 개선

Improving General Role-Playing Agents via Psychology-Grounded Reasoning and Role-Aware Policy Optimization

자연어 프로필로부터 임의의 캐릭터를 충실하게 연기하는 범용 롤플레잉 에이전트를 구축하는 일은 여전히 어렵다. 명시적 추론은 모델이 응답 전에 숙고하도록 도울 수 있으나, 일반적인 추론이 반드시 캐릭터 충실도를 보존하는 것은 아니다. 이에 우리는 심리학에 기반한 사고 연쇄 프레임워크인 Psy-CoT를 제안한다. Psy-CoT는 응답 전 추론을 상호작용 지각, 심리적 공감, 논리적 구성이라는 세 가지 역할 특화 단계로 분해하여, 모델이 표면적 패턴을 단순히 모방하는 대신 프로필로부터 동적으로 사고하도록 한다. 구조화된 추론은 토대를 제공하지만 그것만으로는 충분하지 않으며, 모델을 캐릭터 충실도에 더 정렬하기 위해서는 강화학습이 필수적이다. 그러나 우리는 LLM 기반 보상 모델 아래에서, 보상 모델을 속이는 일반적인 문구와 진정으로 역할에 특화된 문구가 동일한 그래디언트 신호를 받는다는 점을 관찰한다. 이러한 속임은 학습이 진행되면서 누적되어, 모델이 두 가지를 똑같이 최적의 선택으로 간주하도록 오도한다. 이를 해결하기 위해 우리는 역할 인식 정책 최적화(Role-Aware Policy Optimization, RAPO)를 제안한다. RAPO는 프로필로 유도되는 엔트로피 차이를 이용해 그래디언트에 비대칭적으로 가중치를 부여하여, 양의 어드밴티지 하에서는 역할 특화 토큰을 증폭하고 음의 어드밴티지 하에서는 이를 감쇠한다. CoSER, CharacterBench, CharacterEval에서의 실험은 Psy-CoT가 기존 롤플레잉 CoT 방법들을 능가하고, RAPO가 여러 모델 규모에 걸쳐 일관되게 GRPO를 능가함을 보여준다.

arXiv:2607.11607v2cs.AI공통 태그 Deep Reinforcement Learning

학습된 불확실성은 언제 신뢰할 수 있는가? 분포적 강화학습에 대한 감사

When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning

많은 학습된 예측 모델은 불확실성을 확률분포로 표현하며, 플래너와 정책은 이 분포를 이용해 위험을 판단한다. 그러나 모델이 분포를 출력한다는 사실만으로는 그 분포가 의사결정과 관련된 환경의 불확실성을 포착하는지 알 수 없다. 본 연구는 이 문제를 분포적 강화학습에서 다루며, 여기서 학습된 반환 분포 P_{\theta}(Z | s,a)는 스냅샷-재시작 몬테카를로로 추정한 환경 기반 분포 P_env(Z | s,a)와 직접 비교될 수 있다. 우리의 감사는 먼저 상위 두 행동 간의 초과 Wasserstein 격차(1차 확률 지배가 위배되는 질량과 같음)를 이용하여 위험 민감 사용자가 근거로 삼을 주장들을 선별한다. 이후 각 주장은 순열 귀무분포, 부트스트랩 반박, FDR 통제를 사용하여 실제 정답과 대조하여 검증된다. MinAtar에서 QR-DQN, C51, IQN(33회 실행) 전반에 걸쳐, 가장 강하게 주장된 위험 상충 관계의 40-95%가 95% 신뢰도로 반박되었고, 그 배치는 정답을 모르는 배치와 통계적으로 구별되지 않았으며, 확인될 수 있는 것은 거의 없었다. 사전 학습된 전체 Atari QR-DQN에서도 유사한 양상이 나타났다. 크기를 아는 양성 대조군에서는 동일한 감사가 실제 주장의 96-100%를 확인하여(상관 0.89-0.92), 실제 위험이 존재할 때 이를 탐지할 수 있다. 가장 많이 표시된 상태에서 학습된 CVaR 조언에 따라 행동하면 그 결과는 유익한 경우부터 우연보다 유의하게 나쁜 경우까지 다양했다. 앙상블, 위험 민감 학습, 재보정은 문제를 해결하지 못하며, 재보정 실험은 학습된 분산이 실제 위험에 관해 쓸 만한 정보를 갖지 않음을 시사한다. 이러한 결과에 따라, 학습된 세계 모델의 추정을 포함한 불확실성 추정은 그것이 사용되는 의사결정 지점에서 실현된 결과와 대조하여 검증되어야 한다고 제안한다.

arXiv:2610.02545v2cs.LG공통 태그 Deep Reinforcement Learning

보상 인플레이션: 강화학습을 위한 건강한 자극

Reward Inflation: A Healthy Stimulus for Reinforcement Learning

보상은 강화 학습(RL)의 주된 학습 신호이다. 그러나 보상의 크기는 보통 학습 내내 고정되는 반면, 그 시간적 조절은 아직 충분히 탐구되지 않았다. 본 논문은 학습이 진행되는 동안 보상을 점진적으로 스케일링하는 보상 인플레이션(reward inflation)을 제안하고, 이것이 RL에 건강한 자극으로 작용할 수 있음을 보인다. 이론적으로 보상 인플레이션은 정책 갱신 중 최근 전이에 더 큰 가중을 두는 암묵적 최신성 가중을 유도하여 더 빠른 적응을 가능하게 한다. 또한 보상 인플레이션이 정책이 포화될 때 그래디언트 신호를 유지함으로써 휴면 뉴런의 출현을 억제함을 보이며, 이는 가소성 보존에 기여할 가능성을 시사한다. ALE 게임과 MuJoCo 과제에 대한 실험 결과는 이러한 발견을 뒷받침하며, 적절한 수준의 보상 인플레이션이 광범위한 과제에 이롭다는 것을 보여 준다. 마지막으로 인플레이션 수준을 즉석에서 조정하는 적응형 변형인 Fed를 도입하며, 이것이 고정된 인플레이션보다 자주 성능을 향상시킨다는 것을 확인한다. 소스 코드는 https://github.com/northadventure/RewardInflation 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.