냉난방·환기 설비의 상위 제어에서 심층 강화학습은 언제 효과적인가? FMU에서 직접 학습한 네 가지 소규모 Modelica 사례
When does deep reinforcement learning pay off in HVAC supervisory control? Four small Modelica case studies trained directly on FMUs
한국어 초록
심층 강화학습(DRL)은 냉난방·환기 및 공조(HVAC) 설비의 상위 제어에 흔히 제안된다. 그러나 기준선이 약하고 달성 가능한 최적값을 알기 어려운 경우가 많아 보고된 개선 폭을 해석하기 어렵다. 호주 브리즈번의 사무용 건물을 바탕으로 재현 가능한 소규모 사례 네 가지를 검토한다. 시간대별 요금제에서의 예냉, 응축기 냉각수 설정값 조정을 병행한 냉동기 대수 제어, 습식 냉각 코일을 사용하는 냉수 공급 온도의 설정값 조정, 시간대별 요금 및 최대 수요전력 요금이 적용되는 냉수 저장을 다룬다. 설비는 Modelica Buildings 라이브러리로 모델링했고, 사례 세 가지에서는 내보낸 기능 모형 유닛(FMU)에서 소프트 액터-크리틱 에이전트를 직접 학습했다. 각 에이전트를 조율한 규칙 기반 제어기와 비교했으며, 가능한 경우 미래를 완전히 안다고 가정해 시간별 전수 탐색이나 동적 계획법으로 구한 준최적 기준과도 비교했다. 저장 장치가 없는 두 사례에서 에이전트는 준최적 기준에 도달했지만, 잘 고른 규칙 대비 개선 폭은 응축기 냉각수 설정값 조정에서 1.3%, 냉수 설정값 조정에서 0.18%에 그쳤다. 후자의 경우 흔히 쓰는 설정값 조정 규칙 두 가지는 고정 설정값보다 에너지를 더 많이 소비했다. 냉수 저장 탱크가 있을 때는 개선 폭이 훨씬 컸다. 에이전트는 두 규칙을 모두 앞섰고(-7.8%, 규칙은 각각 -3.9%와 -6.3%), 태양광 발전 시간대와 겹치는 낮의 비첨두 시간에 냉수를 저장했다. 다만 미래를 완전히 아는 일정이 달성한 절감량의 약 45%에 도달했으며, 최대 수요전력을 낮추는 효과는 작았다. 예냉 사례에서는 수동으로 조율한 규칙이 더 우수했다(-12.0% 대 -5.6%). 이러한 결과는 HVAC 제어를 위한 DRL 연구에서 가장 좋은 규칙과 준최적 기준 사이의 차이를 명시할 필요가 있음을 보여 준다. 공동 시뮬레이션용 FMU에서 학습할 때 겪은 실무상의 어려움도 보고한다.
원문 초록
Deep reinforcement learning (DRL) is often proposed for the supervisory control of heating, ventilation and air-conditioning (HVAC) systems. The reported gains are, however, difficult to interpret, because the baselines are often weak and the attainable optimum is seldom known. This paper examines four small, reproducible case studies based on an office building in Brisbane, Australia: pre-cooling under a time-of-use tariff; chiller staging with condenser water reset; chilled water supply temperature reset with a wet cooling coil; and chilled water storage under time-of-use prices and a demand charge. The plants were modelled with the Modelica Buildings library, and in three of the cases a soft actor-critic agent was trained directly on the exported functional mock-up unit (FMU). Each agent was compared with tuned rule-based controllers and, where practicable, with a near-optimal reference from hourly exhaustive search or dynamic programming with perfect foresight. In the two cases without storage the agent reached the near-optimal reference, but the margin above a well-chosen rule was small: 1.3% for condenser water reset and 0.18% for chilled water reset. In the latter case two common reset rules consumed more energy than a fixed set point. With a chilled water storage tank the margin was considerably larger. The agent outperformed both rules (-7.8%, compared with -3.9% and -6.3%) and adopted midday charging during the solar off-peak period, yet it obtained only about 45% of the saving achieved by the perfect-foresight schedule and did little to limit the demand peak. In the pre-cooling case a hand-tuned rule remained superior (-12.0% compared with -5.6%). These results suggest that studies of DRL for HVAC control should state the margin between the best rule and a near-optimal reference. Some practical difficulties encountered in training on co-simulation FMUs are also reported.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22144v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.