arXiv:2610.02442v1 cs.LG

AI 기반 열 인지형 데이터 센터 용량 계획

AI-driven Thermal-aware Data Center Capacity Planning

Yixing Li, Mark Fenton, Matthew Kaufeler, Ka Ming Leung, Xin Ai, Zhiyu Zeng

제출 2026-10-01

저자 비고

arXiv Comments

Presented at DesignCon 2026

한국어 초록

대규모 언어 모델(LLM)의 등장은 데이터 센터의 열 관리에 중대한 도전 과제를 안겨주었습니다. LLM을 위한 집중적인 GPU 연산은 국소적인 핫스팟(hotspot)을 발생시킵니다. 더욱이 학습(training) 및 추론(inference) 급증 시 발생하는 급격한 열 부하 변동은 실시간 냉각 대응을 예측하고 제어하기를 더욱 어렵게 만듭니다. 데이터 센터의 열 인지형(thermal-aware) 용량 계획에는 막대한 비용이 드는 고정밀 CFD 시뮬레이션이 다수 필요합니다. AI 모델은 이전에 보지 못한 설계에 대해서도 실시간 예측을 수행할 수 있습니다. 그러나 기존 연구들은 예측 오차가 크거나 데이터 센터 운영에 대해 지나치게 단순화된 가정을 두고 있습니다. 본 연구에서는 실제 데이터 센터를 대상으로 수 초 만에 열 인지형 용량 계획을 수행할 수 있는 AI 기반 프레임워크를 제시합니다. 내장된 AI 모델은 수많은 주요 파라미터(랙 전력, 서버 전력, 서버 배치, HVAC 설정 등)로부터 학습하며, 수 밀리초 이내에 온도 예측을 제공합니다. 이 AI 모델을 고정밀 CFD 시뮬레이션을 기준으로 검증한 결과, 보지 못한 새로운 데이터 센터 설계에 대해서도 10,000배의 속도 향상과 함께 높은 정확도를 달성할 수 있음을 보여줍니다. 저자들은 이 AI 모델을 바탕으로 열 인지형 용량 계획 프레임워크를 설계했습니다. 이 프레임워크는 데이터 센터 설계자와 운영자가 워크로드 분배와 HVAC 냉각 효율을 즉각적으로 최적화할 수 있도록 지원합니다.

원문 초록

The emerging of large language models (LLMs) has posed significant challenges to the thermal management of data center. Intense GPU computation for LLMs results in localized hotspots. Moreover, spiking thermal loads during training and inference bursts make real-time cooling response more difficult to predict and control. Thermal-aware capacity planning of data center requires massive expensive high-fidelity CFD simulations. AI models can perform real-time prediction for unseen designs. However, existing works either have large prediction error, or have over-simplified assumptions for data center operations. This work presents an AI-driven framework that can perform thermal-aware capacity planning for a real-world data center in seconds. The embedded AI model learns from numerous key parameters (rack power, server power, server placement, HVAC settings etc.), and provides temperature prediction within milliseconds. This AI model is tested against high-fidelity CFD simulations, and results show that for unseen data center designs, model can achieve high accuracy with 10000X speedup. Driven by the AI model, the authors design the thermal-aware capacity planning framework. This framework can help data center designers and operators instantaneously optimize both workload distribution and HVAC cooling efficiency.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02442v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15730v1cs.LG공통 태그 GPU, Scheduling

시간적 그래프 신경망을 위한 의존성 인식 다중 GPU 학습 프레임워크

A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks

시간적 그래프 신경망(TGNN)은 많은 동적 그래프 학습 작업에서 우수한 성능을 달성한다. 이러한 모델은 노드 상태 벡터(즉, 메모리)를 사용하여 그래프 변화(즉, 이벤트)를 포착하고 기록한 뒤, 이 메모리를 활용하여 예측을 돕는다. 그러나 이러한 메모리 중심 설계는 다중 GPU 학습을 어렵게 만드는데, 이는 이후 이벤트에 대한 예측이 종종 이전 이벤트의 메모리 업데이트에 의존하기 때문이다. 모델 품질을 유지하기 위해 기존의 다중 GPU TGNN 학습 기법들은 모든 이벤트 의존성을 엄격하게 보존하는데, 이는 병렬성을 제한하고 비용이 큰 GPU 간 메모리 동기화를 야기한다. 본 연구에서는 이러한 의존성 중 다수를 학습 품질을 저해하지 않으면서도 더 유연하게 처리할 수 있다는 점을 관찰하였다. 구체적으로, (a) TGNN 학습의 의존성은 시간 및 그래프 토폴로지 측면에서 높은 지역성(locality)을 가지며, (b) 큰 배치 내에서 놓치는 단거리 의존성은 대개 저비용으로 복구할 수 있고, (c) 많은 메모리 업데이트는 즉시 필요하지 않다. 이러한 관찰을 바탕으로, 우리는 세 가지 기법을 통해 다중 GPU TGNN 학습을 가속화하는 DepBloom을 제안한다: (1) 불필요한 GPU 간 동기화를 줄이고 병렬성을 향상시키는 시간적으로 제한된 공간 분할(temporally bounded spatial partitioning); (2) 확대된 배치 내에서 놓친 단거리 시간적 의존성을 복구하는 배치 내 메모리 보정(intra-batch memory refinement); (3) 다중 GPU 파이프라인 실행 중 긴급한 메모리 업데이트를 우선 처리하고 비핵심 작업을 지연시키는 critical-path 최적화(critical-path optimization). 대표적인 모델들과 다양한 데이터셋에 대한 실험 결과, DepBloom은 최신 기법(state-of-the-art methods) 대비 평균 2.84배, 최대 5.16배의 속도 향상을 달성하면서도 동등하거나 더 나은 모델 정확도를 유지함을 보여준다.

arXiv:2610.02370v1cs.NI공통 태그 GPU, Scheduling

대규모 Network-in-the-Loop: 대규모 병렬 로봇 학습을 위한 GPU 배치 기반 5G 시뮬레이션

Network-in-the-Loop at Scale: GPU-Batched 5G Simulation for Massively Parallel Robot Learning

대규모 병렬 GPU 시뮬레이터는 수천 개의 환경에서 다중 로봇 정책을 학습(training)시키며, 많은 로봇 함대는 각 로봇의 지연 시간이 동료 로봇들의 트래픽에 따라 달라지는 프라이빗 5G(Fifth-Generation) 네트워크를 사용합니다. Network-in-the-loop 학습은 이 루프 내에 시뮬레이션된 5G 네트워크를 배치합니다. 그러나 기존 GPU 로봇 시뮬레이터는 네트워크를 메시지당 독립적인 지연 시간으로 단순화하는 반면, 패킷 수준 시뮬레이터는 CPU 프로세스당 하나의 시나리오만 실행하므로 수천 개의 병렬 환경 속도를 따라가지 못합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Isaac Lab 물리 엔진과 보조를 맞추어 수천 개 환경의 업링크를 동시에 진행하는 GPU 배치 기반 5G NR(New Radio) 모듈인 Isaac-Net을 제시합니다. Isaac-Net은 기지국이 어떤 로봇이 전송할지 결정하는 0.5 ms 주기인 모든 슬롯을 모든 환경에 대해 한 번에 시뮬레이션합니다. 광범위한 실험을 통해 Isaac-Net의 NR 엔진이 다양한 부하 조건에서 ns-3 5G-LENA의 중간값(median) 지연 시간을 재현함을 확인하였으며, 미확인 반송파에서는 중간값 지연 시간이 5~10% 낮고 폐루프 환경당 32대의 로봇 조건에서는 9% 높은 수준을 보였습니다. 또한 해당 엔진은 각 로봇의 가장 최근 전달된 보고의 경과 시간인 정보 수명(AoI, Age of Information)을 재현하는 반면, 메시지당 독립적 지연 시간을 적용할 경우 AoI 꼬리(tail) 분포가 약 3배 과소평가됩니다. 5G-LENA를 기준으로 검증된 구성에서 Isaac-Net은 무작위 정책 하에 측정했을 때 네트워크가 없는 Isaac Lab 속도의 83% 수준으로, 단일 GPU에서 약 100만 대의 로봇에 대해 네트워크를 루프 내에 유지합니다. Isaac-Net은 https://github.com/ZzZTripleZzZ/isaac-net 에서 오픈 소스로 제공됩니다.

arXiv:2609.27040v1cs.DC공통 태그 GPU, Scheduling

EMA: GPU 간 탄력적이고 성능 투명한 메모리

EMA: Elastic and Performance Transparent Memory Across GPUs

다중 GPU 서버는 고대역폭 상호 연결을 통해 집계된 용량을 제공하며, 현대 데이터 센터의 표준 구성 요소가 되었다. 동시에 LLM 추론과 같은 워크로드는 매우 동적인 메모리 수요를 보이며, 이로 인해 한 GPU는 로컬 메모리를 고갈하는 반면 다른 GPU는 여전히 저활용 상태로 남을 수 있다. 이러한 불일치는 GPU 간 탄력적 리소스 공유 모델의 필요성을 이끈다. 우리는 EMA를 제안한다. EMA는 서버 내 GPU가 서로로부터 메모리를 빌리고 회수할 수 있게 하여 탄력적인 용량 풀을 형성하는 메모리 공유 시스템이다. EMA는 차용자와 대여자 모두에 대해 성능 투명성을 보장한다. 차용자의 경우, 프리페치(prefetching)가 원격 접근 비용을 숨겨 애플리케이션이 원격 메모리와 로컬 메모리를 성능상 구별할 수 없게 한다. 대여자의 경우, 빌려준 리소스는 요청 시 회수 가능하며, 성능이 정적 분할(static partitioning)보다 낮아지지 않음을 보장한다. 우리 설계는 메모리에 초점을 맞추지만, 동일한 원칙은 다른 GPU 리소스로 자연스럽게 확장된다. 평가 결과 EMA는 개별 사용자 처리량(throughput)을 최대 52% 개선하고, 2배 용량으로 프로비저닝된 시스템 처리량의 96%를 달성하며, 정적 로컬 기준선과 유사한 지연(latency)을 유지한다.

arXiv:2609.27085v1cs.DC공통 태그 GPU, Scheduling

Crossflow: 에이전트 LLM 서빙을 위한 Prefill-Decode 탄력성

Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving

서빙 용량 수요가 학습을 넘어서면서 서빙 효율이 점점 더 중요해진다. Prefill-decode(P/D) 분리는 두 단계의 특화와 격리를 통해 서빙 효율을 높인다. 이러한 이점은 정적 분할에 기반하지만, 단계별 수요는 정적이지 않다. 대규모 LLM 플릿에서 캐시되지 않은 입력 대 출력 토큰 비율은 분 단위 시간 척도에서 피크 대 평균 비가 최대 4.7배에 이르는 것을 관찰했고, 공개 에이전트 트레이스에서는 시간당 비율이 하루 안에서 중앙값 24.5배 범위에 걸치는 반면, 레플리카 재할당에는 수십 분이 걸린다. 에이전트 트래픽은 이러한 불일치를 더욱 심화시킨다. 각 풀을 95백분위수로 크기를 잡으면 클러스터 용량의 최대 17%가 미사용으로 남고, 그보다 작게 잡으면 동일한 불균형이 대기와 실현되지 못한 처리량으로 전환된다. 노드 역할을 바꾸지 않고 이 경계를 탄력적으로 만드는 Crossflow를 제안한다. 각 디코드 노드는 로컬 prefill 연산, KV 용량, 전송 작업, 예상 출력을 한정하는 단기·철회 가능한 lease를 공개한다. 공개 및 내부 트레이스에서 Crossflow는 정적 P/D 대비 기하평균 토큰 처리량을 16.2–17.4% 향상시키고, 고부하에서는 최대 43.4%까지 개선하며, 평가한 모든 지점에서 평균 TTFT를 줄인다.

arXiv:2609.27547v1cs.LG공통 태그 GPU, Scheduling

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

arXiv:2609.23130v1cs.AI공통 태그 GPU, Scheduling

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.