히트펌프와 바닥난방 제어를 위한 심층 강화학습: 개발부터 현장 적용까지의 사례 연구
Deep Reinforcement Learning for Heat Pump and Underfloor Heating Control: An End-to-End Case Study
한국어 초록
건물의 열관성이 크고 바닥난방(UFH)의 응답이 느려 히트펌프(HP)와 바닥난방을 효율적으로 제어하기는 어렵다. 심층 강화학습(DRL)은 에너지 소비와 열 쾌적성을 함께 최적화할 수 있는 데이터 기반 제어 방법이다. 그러나 입주자가 있는 건물의 실제 운영 조건에 DRL 제어기를 적용한 사례는 드물다. 통합 바닥난방·히트펌프 시스템을 위한 DRL 제어기의 개발, 평가, 현장 배포를 다룬 종단 간 사례를 제시한다. 먼저 시뮬레이션 기반 예비 연구로 여러 DRL 알고리즘과 제어 전략, 설정을 평가했다. 이어 실제 주거 건물의 디지털 트윈을 개발해 모의 운영 조건에서 DRL 에이전트를 학습시켰다. 성능이 가장 높은 에이전트는 추가 온라인 미세조정 없이 실제 건물에 배포했다. 제어기는 히트펌프의 공급 온도와 바닥난방 밸브 위치를 동적으로 조절하면서 실내 온도를 정해진 쾌적 범위 안에 유지했다. 이 결과는 입주자가 있는 건물에서 DRL 제어기를 배포할 수 있음을 보여 준다. 또한 제어기의 강건성과 함께 디지털 환경에서 학습한 제어 정책을 실제 난방 시스템으로 옮길 때의 실무적 과제를 드러낸다.
원문 초록
Efficient control of underfloor heating (UFH) systems coupled with heat pumps (HPs) is challenging due to the high thermal inertia of buildings and the slow dynamic response of UFH systems. Deep Reinforcement Learning (DRL) offers a data-driven control approach capable of simultaneously optimizing energy consumption and thermal comfort. However, the application of DRL-based controllers in occupied buildings under real operating conditions remains limited. This work presents and end-to-end case study (development, evaluation, and real-world deployment) of a DRL-based controller for an integrated UFH-HP system. First, a simulation-based pilot study was conducted to assess different DRL algorithms, control strategies, and configurations. Subsequently, a digital twin of a real residential building was developed and used to train DRL agents under simulated operating conditions. The best-performing agent was then deployed in the physical building without additional online fine-tuning. The results show that the controller successfully maintained indoor temperatures within the prescribed comfort limits while dynamically adjusting the HP supply temperature and UFH valve positions. These findings demonstrate the feasibility of deploying DRL controllers in occupied buildings and highlight their robustness and the practical challenges associated with transferring control policies from digital environments to real heating systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23063v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.