Centralised rehearsal of decentralised cooperation: Multi-agent reinforcement learning for the scalable coordination of residential energy flexibility
원문 초록
This paper investigates how deep multi-agent reinforcement learning can enable the scalable and privacy-preserving coordination of residential energy flexibility. The coordination of distributed resources such as electric vehicles and heating will be critical to the successful integration of large shares of renewable energy in our electricity grid and, thus, to help mitigate climate change. The pre-learning of individual reinforcement learning policies can enable distributed control with no sharing of personal data required during execution. However, previous approaches for multi-agent reinforcement learning-based distributed energy resources coordination impose an ever greater training computational burden as the size of the system increases. We therefore adopt a deep multi-agent actor-critic method which uses a \emph{centralised but factored critic} to rehearse coordination ahead of execution. Results show that coordination is achieved at scale, with minimal information and communication infrastructure requirements, no interference with daily activities, and privacy protection. Significant savings are obtained for energy users, the distribution network and greenhouse gas emissions. Moreover, training times are nearly 40 times shorter than with a previous state-of-the-art reinforcement learning approach without the factored critic for 30 homes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Using Fuzzy Logic to Learn Abstract Policies in Large-Scale Multi-Agent Reinforcement Learning
Robust Multi-Agent Reinforcement Learning with Model Uncertainty
Multi-Step Reinforcement Learning for Single Image Super-Resolution
Multirobot Coverage of Modular Environments
판매 학습: 다중 제품 시장에서 전략적 대규모 언어 모델 에이전트를 위한 강화학습
Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets
다중 제품 시장에서 작동하는 자율 대규모 언어 모델(LLM) 에이전트는 정보 비대칭과 자원 제약 조건 하에서 순차적 의사결정을 내려야 합니다. 본 연구에서는 판매자가 독립적인 구매자 풀을 대상으로 대체 가능한 자산 카탈로그를 동시에 협상하는 다중 품목 협상 환경에서 에이전트가 판매자로서 효과적으로 활동하도록 학습시키는 머신러닝 접근 방식을 개발합니다. 구매자들은 제품 전반에 걸쳐 비공개적이고 이질적인 가치 평가를 지니며, 각 구매자는 최대 하나의 품목만 구매할 수 있습니다. 판매자는 전체 통신 턴 수의 제한에 직면하여 구매자의 비공개 가치 평가를 고려해 가장 수익성이 높은 제품과 동적으로 매칭하는 동시에, 더 큰 잠재 가치를 지닌 조합을 향해 제한된 상호작용 예산을 전략적으로 할당해야 합니다. 본 논문에서는 자연어를 파싱 가능하고 규제된 의사결정 공간으로 매핑하는 정형화된 4단계 메시지 프로토콜을 사용하여 이 문제를 부분 관측 마르코프 결정 과정(POMDP)으로 정형화합니다. 이러한 정형화를 바탕으로 검증 가능한 보상 기반 강화학습(RLVR)을 사용하는 사후 학습(post-training) 방법을 설계합니다. 이 프레임워크를 평가하기 위해 제약 준수, 판매자 잉여 추출, 할당 품질을 정량화하는 다차원 메트릭 스위트를 구축합니다. 학습된 판매자 에이전트는 제한된 재고를 구매자에게 더 효과적으로 매칭하는 법을 학습하며, 판매자 잉여 추출 및 구매자-제품 할당 품질 모두에서 조 단위 매개변수를 지닌 프론티어 모델과 대등하거나 이를 능가하는 성능을 보입니다. 마지막으로, 이렇게 학습된 전략은 학습 중 접하지 않은 새로운 시장 구조, 상관관계가 있는 가치 평가 분포, 가격 범위로도 견고하게 일반화됩니다.
동형 이점 연산자: 완전동형암호 제약 조건에서의 강화학습 안정화
Homomorphic Advantage Operator: Stabilizing Reinforcement Learning Under Fully Homomorphic Encryption Constraints
기밀 데이터를 다루는 지능형 시스템에서 프라이버시 보존 머신러닝을 클라우드에 배포하는 것은 상당한 과제를 안겨줍니다. 완전동형암호(FHE)는 안전한 연산을 제공하여 클라우드 연산의 데이터 기밀성을 보존하는 매력적인 설루션을 제시합니다. 그러나 강화학습(RL)에 FHE를 적용하려면 비선형 연산을 다항식 근사로 대체해야 하는데, 이는 벨만 드리프트(Bellman drift)로 알려진 고유한 재귀적 오류 현상으로 인해 치명적인 발산을 초래합니다. 본 논문에서는 FHE 기반 심층 강화학습에서 다항식 근사의 발산을 방지하도록 설계된 안정화 프레임워크인 동형 이점 연산자(Homomorphic Advantage Operator, HAO)를 소개합니다. HAO는 이점(advantage) 기반 가치 추정의 영평균 중심화 투영을 시간차(TD) 타깃에 직접 적용합니다. 이 선형 투영은 벨만 드리프트를 유발하는 균일한 상태 가치 기준선(baseline)을 소멸시켜, 추가적인 비선형 곱셈 깊이를 전혀 요구하지 않고 비용이 많이 드는 암호문 부트스트래핑을 피하면서도 상태별 행동 순위를 유지합니다. 제안된 HAO 프레임워크는 표 형태의 마르코프 결정 과정(MDP), 실제 CKKS 암호화 연산을 사용하는 암호화된 CartPole 환경, 조밀한 연속형 특성을 지닌 20개 노드의 물류 라우팅 벤치마크를 포함하는 3단계 실험 방법론을 통해 평가되었습니다. 결과에 따르면 제안된 HAO는 네트워크 사전 활성화 값을 안전한 다항식 근사 도메인 내로 엄격하게 제한합니다. 제안된 HAO 강화학습 에이전트는 사용된 모든 무작위 시드에서 0%의 경계 이탈을 달성한 반면, 정규화(L2 가중치 감쇠 및 그래디언트 클리핑)만을 적용했을 때는 5개 시드 중 3개에서 경계를 벗어났고 안정화되지 않은 기준선 모델은 83.8%의 에피소드에서 경계를 이탈했습니다. 마지막으로, HAO 에이전트는 표 형태 도메인에서 최적 정책 정확도를 18.0%포인트 향상시키며, 클리핑된 그래디언트에 DP-SGD 스타일의 가우시안 노이즈가 추가되었을 때도 안정성을 유지합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.