arXiv:2105.05080

ANDREAS: Artificial intelligence traiNing scheDuler foR accElerAted resource clusterS

Federica Filippini, Danilo Ardagna, Marco Lattuada, Edoardo Amaldi, Michele Ciavotta, Maciek Riedl, Katarzyna Materka, Paweł Skrzypek, Fabrizio Magugliani, Marco Cicala

제출 2021-05-11

원문 초록

Artificial Intelligence (AI) and Deep Learning (DL) algorithms are currently applied to a wide range of products and solutions. DL training jobs are highly resource demanding and they experience great benefits when exploiting AI accelerators (e.g., GPUs). However, the effective management of GPU-powered clusters comes with great challenges. Among these, efficient scheduling and resource allocation solutions are crucial to maximize performance and minimize Data Centers operational costs. In this paper we propose ANDREAS, an advanced scheduling solution that tackles these problems jointly, aiming at optimizing DL training runtime workloads and their energy consumption in accelerated clusters. Experiments based on simulation demostrate that we can achieve a cost reduction between 30 and 62% on average with respect to first-principle methods while the validation on a real cluster shows a worst case deviation below 13% between actual and predicted costs, proving the effectiveness of ANDREAS solution in practical scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23130v1cs.AI공통 태그 GPU, Scheduling, Management

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

arXiv:2610.15730v1cs.LG공통 태그 GPU, Scheduling

시간적 그래프 신경망을 위한 의존성 인식 다중 GPU 학습 프레임워크

A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks

시간적 그래프 신경망(TGNN)은 많은 동적 그래프 학습 작업에서 우수한 성능을 달성한다. 이러한 모델은 노드 상태 벡터(즉, 메모리)를 사용하여 그래프 변화(즉, 이벤트)를 포착하고 기록한 뒤, 이 메모리를 활용하여 예측을 돕는다. 그러나 이러한 메모리 중심 설계는 다중 GPU 학습을 어렵게 만드는데, 이는 이후 이벤트에 대한 예측이 종종 이전 이벤트의 메모리 업데이트에 의존하기 때문이다. 모델 품질을 유지하기 위해 기존의 다중 GPU TGNN 학습 기법들은 모든 이벤트 의존성을 엄격하게 보존하는데, 이는 병렬성을 제한하고 비용이 큰 GPU 간 메모리 동기화를 야기한다. 본 연구에서는 이러한 의존성 중 다수를 학습 품질을 저해하지 않으면서도 더 유연하게 처리할 수 있다는 점을 관찰하였다. 구체적으로, (a) TGNN 학습의 의존성은 시간 및 그래프 토폴로지 측면에서 높은 지역성(locality)을 가지며, (b) 큰 배치 내에서 놓치는 단거리 의존성은 대개 저비용으로 복구할 수 있고, (c) 많은 메모리 업데이트는 즉시 필요하지 않다. 이러한 관찰을 바탕으로, 우리는 세 가지 기법을 통해 다중 GPU TGNN 학습을 가속화하는 DepBloom을 제안한다: (1) 불필요한 GPU 간 동기화를 줄이고 병렬성을 향상시키는 시간적으로 제한된 공간 분할(temporally bounded spatial partitioning); (2) 확대된 배치 내에서 놓친 단거리 시간적 의존성을 복구하는 배치 내 메모리 보정(intra-batch memory refinement); (3) 다중 GPU 파이프라인 실행 중 긴급한 메모리 업데이트를 우선 처리하고 비핵심 작업을 지연시키는 critical-path 최적화(critical-path optimization). 대표적인 모델들과 다양한 데이터셋에 대한 실험 결과, DepBloom은 최신 기법(state-of-the-art methods) 대비 평균 2.84배, 최대 5.16배의 속도 향상을 달성하면서도 동등하거나 더 나은 모델 정확도를 유지함을 보여준다.

arXiv:2610.13923v1cs.NI공통 태그 Scheduling, Management

강화학습을 통한 심우주 통신용 목표 지향적 번들 관리 및 흐름 제어

Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning

심우주 통신은 간헐적인 연결성, 긴 전파 지연, 중계 노드의 저장 용량 제약 하에서 동작합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 저장-운반-전달(store-carry-forward) 통신을 가능하게 하며, 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 폐기(dropping) 결정은 본질적으로 목표 지향적입니다. 즉, 다운스트림 임무 목표에 가장 가치 있는 번들에 전송 자원이 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 효용을 명시적으로 최적화하지 못하며, 이기종 행성 소스 간에 불공정한 서비스를 제공할 수 있습니다. 본 논문에서는 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐루프 모델링 및 학습 프레임워크를 제시합니다. 목적지 측의 정보 신선도를 초과 수명(excess age) $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$를 사용하여 정량화합니다. 여기서 $Δ_i(t)$는 소스 $i$의 정보 수명(Age of Information)을 나타내고 $d_i(t)$는 소스에 따른 지연 기준선입니다. 이 지표를 바탕으로 소스별 비선형 페널티를 지원하는 목표 지향적 손실을 정의하여 임무 관련성에 따른 우선순위 지정을 가능하게 합니다. 중계기 제어를 제약 조건이 있는 준 마르코프 결정 과정(CSMDP)으로 정식화하고, 마스킹된 라그랑주 근접 정책 최적화(PPO)를 사용하여 이를 해결합니다. 실행 가능성 인식 액션 마스킹은 남은 접촉 윈도우 내에 완료할 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과, 기존 기준선 스케줄러 대비 수명 기반 효용 및 흐름 간 공정성이 향상됨을 보여줍니다. 제안된 프레임워크는 이기종 소스 간의 명시적인 공정성을 고려하면서 접촉 기반 역학 하에서 중계기 측 번들 스케줄링, 폐기 및 흐름 제어를 공동으로 최적화합니다.

arXiv:2610.02442v1cs.LG공통 태그 GPU, Scheduling

AI 기반 열 인지형 데이터 센터 용량 계획

AI-driven Thermal-aware Data Center Capacity Planning

대규모 언어 모델(LLM)의 등장은 데이터 센터의 열 관리에 중대한 도전 과제를 안겨주었습니다. LLM을 위한 집중적인 GPU 연산은 국소적인 핫스팟(hotspot)을 발생시킵니다. 더욱이 학습(training) 및 추론(inference) 급증 시 발생하는 급격한 열 부하 변동은 실시간 냉각 대응을 예측하고 제어하기를 더욱 어렵게 만듭니다. 데이터 센터의 열 인지형(thermal-aware) 용량 계획에는 막대한 비용이 드는 고정밀 CFD 시뮬레이션이 다수 필요합니다. AI 모델은 이전에 보지 못한 설계에 대해서도 실시간 예측을 수행할 수 있습니다. 그러나 기존 연구들은 예측 오차가 크거나 데이터 센터 운영에 대해 지나치게 단순화된 가정을 두고 있습니다. 본 연구에서는 실제 데이터 센터를 대상으로 수 초 만에 열 인지형 용량 계획을 수행할 수 있는 AI 기반 프레임워크를 제시합니다. 내장된 AI 모델은 수많은 주요 파라미터(랙 전력, 서버 전력, 서버 배치, HVAC 설정 등)로부터 학습하며, 수 밀리초 이내에 온도 예측을 제공합니다. 이 AI 모델을 고정밀 CFD 시뮬레이션을 기준으로 검증한 결과, 보지 못한 새로운 데이터 센터 설계에 대해서도 10,000배의 속도 향상과 함께 높은 정확도를 달성할 수 있음을 보여줍니다. 저자들은 이 AI 모델을 바탕으로 열 인지형 용량 계획 프레임워크를 설계했습니다. 이 프레임워크는 데이터 센터 설계자와 운영자가 워크로드 분배와 HVAC 냉각 효율을 즉각적으로 최적화할 수 있도록 지원합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.