AEGIS: 멀티 테넌트 딥러닝 학습을 위한 런타임 유도 기반 GPU 코로케이션
AEGIS: Runtime-Guided GPU Collocation for Multi-Tenant Deep Learning Training
한국어 초록
심층 학습(deep learning) 학습(training)은 흔히 공유된 멀티 테넌트 GPU 서버에서 실행되며, 여기서 독점적 할당은 격리성을 제공하지만 자원 활용도를 낮추고 대기열 대기 시간을 늘릴 수 있습니다. 코로케이션(collocation, 함께 배치)은 효율성을 높일 수 있지만, 간섭을 고려하지 않은 배치는 심각한 속도 저하를 유발할 수 있으며, 부정확한 메모리 정보는 OOM(out-of-memory) 오류로 이어질 수 있습니다. 본 논문에서는 공유 멀티 GPU 서버에서 심층 학습 학습 워크로드의 제어된 코로케이션을 지원하는 서버 규모의 런타임 스케줄링 시스템인 AEGIS를 제시합니다. AEGIS는 메모리 실현 가능성, 배치 후 관측, 런타임 압력 필터링, 배치 및 OOM 인식 복구를 단일 스케줄링 루프에 통합합니다. 배치 후 AEGIS는 추가 코로케이션을 허용하기 전에 워크로드 활동을 관측한 다음, 오버헤드가 적은 원격 측정을 사용하여 GPU가 추가 작업을 안전하게 수용할 수 있는지 판단합니다. OOM 오류 발생 시 점진적으로 더 안전한 메모리 조건에서 재시도를 트리거하며, 궁극적으로는 독점 실행으로 폴백합니다. 이러한 온라인 방식은 비용이 많이 드는 오프라인 쌍별 호환성 프로파일링(profiling)을 피할 수 있게 합니다. 비전, 트랜스포머(Transformer), 추천 및 LLM 스타일 워크로드를 세 가지 실제 운영 파생 트레이스에 걸쳐 사용하여 AEGIS를 평가합니다. AEGIS는 기하평균 메이크스팬(makespan)을 Lucid 대비 16%, Horus 대비 21%, 독점 할당 대비 27% 줄입니다. 민감도 연구에 따르면 활동 기반 관측 및 런타임 압력 필터링이 보수적인 격리와 간섭 무시 코로케이션 간의 균형을 맞추어, 공유로 인한 작업별 속도 저하를 제한하면서도 메이크스팬을 개선함을 보여줍니다.
원문 초록
Deep learning training commonly runs on shared multi-tenant GPU servers, where exclusive allocation provides isolation but can leave resources underutilized and increase queueing time. Collocation can improve efficiency, but interference-agnostic placement may cause severe slowdowns, while inaccurate memory information can lead to out-of-memory (OOM) failures. We present AEGIS, a server-scale runtime scheduling system for controlled collocation of deep learning training workloads on shared multi-GPU servers. AEGIS integrates memory feasibility, post-placement observation, runtime-pressure filtering, placement, and OOM-aware recovery in a single scheduling loop. After placement, AEGIS observes workload activity before permitting further collocation, then uses low-overhead telemetry to determine whether a GPU can safely accept additional work. OOM failures trigger retries under progressively safer memory conditions, eventually falling back to exclusive execution. This online approach avoids costly offline pairwise compatibility profiling. We evaluate AEGIS using vision, Transformer, recommendation, and LLM-style workloads across three production-derived traces. AEGIS reduces geometric-mean makespan by 16% relative to Lucid, 21% relative to Horus, and 27% relative to exclusive allocation. Sensitivity studies show that activity-anchored observation and runtime-pressure filtering balance conservative isolation against interference-agnostic collocation, improving makespan while limiting sharing-induced per-task slowdown.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Quota Marketplace: ML 학습 자원의 효율적 할당을 위한 동적 가격 책정
Quota Marketplace: Dynamic Pricing for Efficient Allocation of ML Training Resources
최근 몇 년간 머신러닝(ML) 학습 자원에 대한 수요가 급증하면서 높은 수요와 가용 공급 사이에 상당한 격차가 발생했습니다. 이처럼 희소하고 비용이 많이 드는 자원의 효율적 할당은 조직이 투자 대비 수익을 극대화하는 데 매우 중요합니다. Karma [OSDI'23]와 같은 기존 자원 할당 메커니즘은 동적(시변) 사용자 수요 환경에서 파레토 효율성(Pareto efficiency)과 최대-최소 공정성(max-min fairness)을 보장하도록 설계되어 있으나, 이질적인 가치를 지닌 수요가 존재할 경우 이러한 핵심 특성을 유지하지 못합니다. 조직 내 다양한 워크로드의 가치 이질성이 보편적이고 불가피한 현실을 감안할 때, 효과적인 자원 할당 정책은 이러한 변동성을 수용해야 합니다. 본 논문에서는 이질적인 가치를 지닌 수요 시나리오를 명시적으로 처리하여 ML 학습 칩(GPU 등)을 효율적으로 할당하는 시장 기반 메커니즘인 Quota Marketplace의 설계, 구현, 배포 및 이론적 분석을 기술합니다. Google 내부에서의 구현 과정을 상세히 설명하고 그 영향을 보여주는 지표를 제시합니다. 또한 Quota Marketplace가 효과적으로 처리하는 다양한 비즈니스 핵심 요구사항을 논의하고, 이를 통해 달성된 성과와 새롭게 열린 기회를 기록합니다. 이 시장 기반 접근법이 사용자로 하여금 워크로드의 가치를 표현하도록 하고 수요와 공급 변동에 기반한 동적 자원 가격 책정을 가능하게 함으로써 파레토 효율성과 최대-최소 공정성이라는 핵심 속성을 달성함을 이론적으로 증명합니다. 궁극적으로, 이 시장은 조직의 우선순위에 부합하는 자원 할당을 촉진합니다.
FlashDiff: 확산 모델 서빙을 위한 효율적인 지역 실행 및 스케줄링
FlashDiff: Efficient Regional Execution and Scheduling for Diffusion Model Serving
확산 모델은 현대의 이미지, 비디오, 오디오 생성의 핵심 백본이 되었지만, 이를 효율적으로 서비스하는 것은 여전히 난제로 남아 있다. 자기 회귀(autoregressive) 디코딩과 달리, 확산 추론(inference)은 많은 노이즈 제거(denoising) 단계에 걸쳐 고차원 공간 또는 시간 잠재 변수(latent)를 반복적으로 갱신한다. 이 전체 영역(all-region) 실행 패턴은 생성 지연 시간을 높이고 서빙 처리량을 제한한다. 기존의 다중 GPU 병렬화 방법은 단계당 연산을 줄일 수 있지만, 종종 상당한 활성화(activation) 교환 오버헤드를 유발하여 통신 비용이 병렬 실행의 이점을 상쇄하거나 심지어 상회하기도 한다. 본 논문은 적응형 지역 실행 및 스케줄링을 통해 추론 효율을 향상시키는 확산 서빙 시스템 FlashDiff를 제안한다. FlashDiff는 확산 정제(refinement)가 잠재 변수 영역이나 노이즈 제거 단계 전반에 걸쳐 균일하지 않다는 관찰에 기반한다. 서로 다른 영역은 종종 서로 다른 속도로 안정화되며, 인접한 단계들은 강한 시간적 상관관계를 보인다. FlashDiff는 이러한 특성을 활용하여 추가 정제가 필요한 영역만 선택적으로 실행하고, 그로 인해 발생하는 연산 여유를 동시 서빙 요청들에 재할당한다. FlashDiff는 세 가지 메커니즘으로 구성된다. 첫째, 초기 단계 어텐션(attention) 신호를 사용하여 잠재 표현을 일관된 실행 영역으로 분해함으로써 의미 구조를 보존하면서 세밀한 병렬성을 드러낸다. 둘째, 경량 런타임 컨트롤러를 사용하여 영역 활성도를 추정하고, 추가 정제가 출력 품질에 영향을 줄 가능성이 낮을 때 영향이 적은 갱신을 우회한다. 셋째, 친화도 인식(affinity-aware) 온라인 스케줄러를 적용하여 의존적인 영역을 공동 배치(co-locate)하고, GPU 간 잔여 부하를 균형 있게 분배하며, 회수된 연산 용량을 재사용하여 서빙 효율을 향상시킨다. 실제 이미지, 비디오, 오디오 워크로드에서 FlashDiff는 종단 간 서빙 지연 시간을 30-97% 줄이고 처리량을 1.2-2.2배 향상시킨다.
시간적 그래프 신경망을 위한 의존성 인식 다중 GPU 학습 프레임워크
A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks
시간적 그래프 신경망(TGNN)은 많은 동적 그래프 학습 작업에서 우수한 성능을 달성한다. 이러한 모델은 노드 상태 벡터(즉, 메모리)를 사용하여 그래프 변화(즉, 이벤트)를 포착하고 기록한 뒤, 이 메모리를 활용하여 예측을 돕는다. 그러나 이러한 메모리 중심 설계는 다중 GPU 학습을 어렵게 만드는데, 이는 이후 이벤트에 대한 예측이 종종 이전 이벤트의 메모리 업데이트에 의존하기 때문이다. 모델 품질을 유지하기 위해 기존의 다중 GPU TGNN 학습 기법들은 모든 이벤트 의존성을 엄격하게 보존하는데, 이는 병렬성을 제한하고 비용이 큰 GPU 간 메모리 동기화를 야기한다. 본 연구에서는 이러한 의존성 중 다수를 학습 품질을 저해하지 않으면서도 더 유연하게 처리할 수 있다는 점을 관찰하였다. 구체적으로, (a) TGNN 학습의 의존성은 시간 및 그래프 토폴로지 측면에서 높은 지역성(locality)을 가지며, (b) 큰 배치 내에서 놓치는 단거리 의존성은 대개 저비용으로 복구할 수 있고, (c) 많은 메모리 업데이트는 즉시 필요하지 않다. 이러한 관찰을 바탕으로, 우리는 세 가지 기법을 통해 다중 GPU TGNN 학습을 가속화하는 DepBloom을 제안한다: (1) 불필요한 GPU 간 동기화를 줄이고 병렬성을 향상시키는 시간적으로 제한된 공간 분할(temporally bounded spatial partitioning); (2) 확대된 배치 내에서 놓친 단거리 시간적 의존성을 복구하는 배치 내 메모리 보정(intra-batch memory refinement); (3) 다중 GPU 파이프라인 실행 중 긴급한 메모리 업데이트를 우선 처리하고 비핵심 작업을 지연시키는 critical-path 최적화(critical-path optimization). 대표적인 모델들과 다양한 데이터셋에 대한 실험 결과, DepBloom은 최신 기법(state-of-the-art methods) 대비 평균 2.84배, 최대 5.16배의 속도 향상을 달성하면서도 동등하거나 더 나은 모델 정확도를 유지함을 보여준다.
AI 기반 열 인지형 데이터 센터 용량 계획
AI-driven Thermal-aware Data Center Capacity Planning
대규모 언어 모델(LLM)의 등장은 데이터 센터의 열 관리에 중대한 도전 과제를 안겨주었습니다. LLM을 위한 집중적인 GPU 연산은 국소적인 핫스팟(hotspot)을 발생시킵니다. 더욱이 학습(training) 및 추론(inference) 급증 시 발생하는 급격한 열 부하 변동은 실시간 냉각 대응을 예측하고 제어하기를 더욱 어렵게 만듭니다. 데이터 센터의 열 인지형(thermal-aware) 용량 계획에는 막대한 비용이 드는 고정밀 CFD 시뮬레이션이 다수 필요합니다. AI 모델은 이전에 보지 못한 설계에 대해서도 실시간 예측을 수행할 수 있습니다. 그러나 기존 연구들은 예측 오차가 크거나 데이터 센터 운영에 대해 지나치게 단순화된 가정을 두고 있습니다. 본 연구에서는 실제 데이터 센터를 대상으로 수 초 만에 열 인지형 용량 계획을 수행할 수 있는 AI 기반 프레임워크를 제시합니다. 내장된 AI 모델은 수많은 주요 파라미터(랙 전력, 서버 전력, 서버 배치, HVAC 설정 등)로부터 학습하며, 수 밀리초 이내에 온도 예측을 제공합니다. 이 AI 모델을 고정밀 CFD 시뮬레이션을 기준으로 검증한 결과, 보지 못한 새로운 데이터 센터 설계에 대해서도 10,000배의 속도 향상과 함께 높은 정확도를 달성할 수 있음을 보여줍니다. 저자들은 이 AI 모델을 바탕으로 열 인지형 용량 계획 프레임워크를 설계했습니다. 이 프레임워크는 데이터 센터 설계자와 운영자가 워크로드 분배와 HVAC 냉각 효율을 즉각적으로 최적화할 수 있도록 지원합니다.
대규모 Network-in-the-Loop: 대규모 병렬 로봇 학습을 위한 GPU 배치 기반 5G 시뮬레이션
Network-in-the-Loop at Scale: GPU-Batched 5G Simulation for Massively Parallel Robot Learning
대규모 병렬 GPU 시뮬레이터는 수천 개의 환경에서 다중 로봇 정책을 학습(training)시키며, 많은 로봇 함대는 각 로봇의 지연 시간이 동료 로봇들의 트래픽에 따라 달라지는 프라이빗 5G(Fifth-Generation) 네트워크를 사용합니다. Network-in-the-loop 학습은 이 루프 내에 시뮬레이션된 5G 네트워크를 배치합니다. 그러나 기존 GPU 로봇 시뮬레이터는 네트워크를 메시지당 독립적인 지연 시간으로 단순화하는 반면, 패킷 수준 시뮬레이터는 CPU 프로세스당 하나의 시나리오만 실행하므로 수천 개의 병렬 환경 속도를 따라가지 못합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Isaac Lab 물리 엔진과 보조를 맞추어 수천 개 환경의 업링크를 동시에 진행하는 GPU 배치 기반 5G NR(New Radio) 모듈인 Isaac-Net을 제시합니다. Isaac-Net은 기지국이 어떤 로봇이 전송할지 결정하는 0.5 ms 주기인 모든 슬롯을 모든 환경에 대해 한 번에 시뮬레이션합니다. 광범위한 실험을 통해 Isaac-Net의 NR 엔진이 다양한 부하 조건에서 ns-3 5G-LENA의 중간값(median) 지연 시간을 재현함을 확인하였으며, 미확인 반송파에서는 중간값 지연 시간이 5~10% 낮고 폐루프 환경당 32대의 로봇 조건에서는 9% 높은 수준을 보였습니다. 또한 해당 엔진은 각 로봇의 가장 최근 전달된 보고의 경과 시간인 정보 수명(AoI, Age of Information)을 재현하는 반면, 메시지당 독립적 지연 시간을 적용할 경우 AoI 꼬리(tail) 분포가 약 3배 과소평가됩니다. 5G-LENA를 기준으로 검증된 구성에서 Isaac-Net은 무작위 정책 하에 측정했을 때 네트워크가 없는 Isaac Lab 속도의 83% 수준으로, 단일 GPU에서 약 100만 대의 로봇에 대해 네트워크를 루프 내에 유지합니다. Isaac-Net은 https://github.com/ZzZTripleZzZ/isaac-net 에서 오픈 소스로 제공됩니다.
EMA: GPU 간 탄력적이고 성능 투명한 메모리
EMA: Elastic and Performance Transparent Memory Across GPUs
다중 GPU 서버는 고대역폭 상호 연결을 통해 집계된 용량을 제공하며, 현대 데이터 센터의 표준 구성 요소가 되었다. 동시에 LLM 추론과 같은 워크로드는 매우 동적인 메모리 수요를 보이며, 이로 인해 한 GPU는 로컬 메모리를 고갈하는 반면 다른 GPU는 여전히 저활용 상태로 남을 수 있다. 이러한 불일치는 GPU 간 탄력적 리소스 공유 모델의 필요성을 이끈다. 우리는 EMA를 제안한다. EMA는 서버 내 GPU가 서로로부터 메모리를 빌리고 회수할 수 있게 하여 탄력적인 용량 풀을 형성하는 메모리 공유 시스템이다. EMA는 차용자와 대여자 모두에 대해 성능 투명성을 보장한다. 차용자의 경우, 프리페치(prefetching)가 원격 접근 비용을 숨겨 애플리케이션이 원격 메모리와 로컬 메모리를 성능상 구별할 수 없게 한다. 대여자의 경우, 빌려준 리소스는 요청 시 회수 가능하며, 성능이 정적 분할(static partitioning)보다 낮아지지 않음을 보장한다. 우리 설계는 메모리에 초점을 맞추지만, 동일한 원칙은 다른 GPU 리소스로 자연스럽게 확장된다. 평가 결과 EMA는 개별 사용자 처리량(throughput)을 최대 52% 개선하고, 2배 용량으로 프로비저닝된 시스템 처리량의 96%를 달성하며, 정적 로컬 기준선과 유사한 지연(latency)을 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.