arXiv:2610.15730v1 cs.LG

시간적 그래프 신경망을 위한 의존성 인식 다중 GPU 학습 프레임워크

A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks

Yang Zhao, Yue Dai, Liang Qiao, Buxin Tu, Bo Liu, Sen Zhang, Yi Zhang, Xiaoyu Hao, Jun Shi, Junshi Chen, Hong An

제출 2026-10-11

한국어 초록

시간적 그래프 신경망(TGNN)은 많은 동적 그래프 학습 작업에서 우수한 성능을 달성한다. 이러한 모델은 노드 상태 벡터(즉, 메모리)를 사용하여 그래프 변화(즉, 이벤트)를 포착하고 기록한 뒤, 이 메모리를 활용하여 예측을 돕는다. 그러나 이러한 메모리 중심 설계는 다중 GPU 학습을 어렵게 만드는데, 이는 이후 이벤트에 대한 예측이 종종 이전 이벤트의 메모리 업데이트에 의존하기 때문이다. 모델 품질을 유지하기 위해 기존의 다중 GPU TGNN 학습 기법들은 모든 이벤트 의존성을 엄격하게 보존하는데, 이는 병렬성을 제한하고 비용이 큰 GPU 간 메모리 동기화를 야기한다. 본 연구에서는 이러한 의존성 중 다수를 학습 품질을 저해하지 않으면서도 더 유연하게 처리할 수 있다는 점을 관찰하였다. 구체적으로, (a) TGNN 학습의 의존성은 시간 및 그래프 토폴로지 측면에서 높은 지역성(locality)을 가지며, (b) 큰 배치 내에서 놓치는 단거리 의존성은 대개 저비용으로 복구할 수 있고, (c) 많은 메모리 업데이트는 즉시 필요하지 않다. 이러한 관찰을 바탕으로, 우리는 세 가지 기법을 통해 다중 GPU TGNN 학습을 가속화하는 DepBloom을 제안한다: (1) 불필요한 GPU 간 동기화를 줄이고 병렬성을 향상시키는 시간적으로 제한된 공간 분할(temporally bounded spatial partitioning); (2) 확대된 배치 내에서 놓친 단거리 시간적 의존성을 복구하는 배치 내 메모리 보정(intra-batch memory refinement); (3) 다중 GPU 파이프라인 실행 중 긴급한 메모리 업데이트를 우선 처리하고 비핵심 작업을 지연시키는 critical-path 최적화(critical-path optimization). 대표적인 모델들과 다양한 데이터셋에 대한 실험 결과, DepBloom은 최신 기법(state-of-the-art methods) 대비 평균 2.84배, 최대 5.16배의 속도 향상을 달성하면서도 동등하거나 더 나은 모델 정확도를 유지함을 보여준다.

원문 초록

Temporal graph neural networks (TGNNs) achieve superior performance in many dynamic graph learning tasks. These models use node state vectors (i.e., memories) to capture and record graph changes (i.e., events), and then exploit these memories to assist prediction. However, this memory-centric design makes multi-GPU training challenging because predictions for later events often depend on memory updates from earlier events. To maintain model quality, existing multi-GPU TGNN training schemes strictly preserve all event dependencies, which limits parallelism and causes expensive cross-GPU memory synchronization. In this work, we observe that many of these dependencies can be handled more flexibly without harming training quality. Specifically, (a) dependencies in TGNN training have high locality in both time and graph topology, (b) the short-range dependencies missed within a large batch can often be recovered cheaply, and (c) many memory updates are not immediately needed. Based on these observations, we propose DepBloom to accelerate multi-GPU TGNN training with three techniques: (1) temporally bounded spatial partitioning to reduce unnecessary cross-GPU synchronization and improve parallelism; (2) intra-batch memory refinement to recover missing short-range temporal dependencies inside enlarged batches; and (3) critical-path optimization to prioritize urgent memory updates while deferring non-critical work during multi-GPU pipeline execution. Experimental results across representative models and diverse datasets show that DepBloom achieves an average speedup of 2.84$\times$ and up to 5.16$\times$ over state-of-the-art methods, while maintaining comparable or better model accuracy.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15730v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24456v1cs.DC공통 태그 GPU, Scheduling, distributed training

Conduit: 분산 강화학습을 위한 경험 데이터 플레인

Conduit: An Experience Data Plane for Distributed Reinforcement Learning

분산 강화학습(RL)은 경험 버퍼(Experience Buffer)를 중심으로 액터(actor)와 러너(learner)를 병렬화하여 학습(training)을 확장합니다. 그러나 강화학습 워크로드가 증가함에 따라 버퍼는 단순한 리플레이 큐를 넘어섭니다. 즉, 러너 업데이트를 시작하기 전에 경험을 이동, 변환, 샘플링 및 배치(batch) 처리하기 위해 매 반복(iteration)마다 거쳐야 하는 대용량 및 지연시간에 민감한 경험 경로의 스토리지 기저 역할을 하게 됩니다. 기존 강화학습 시스템은 이러한 경로를 프레임워크 제어 흐름 내부에 내장하거나 요청 기반 버퍼 서비스 형태로 노출하므로, 경험 배치가 고정되고 경험 경로 작업을 런타임 수준의 최적화 대상으로 독립적으로 스케줄링하기 어렵습니다. 본 논문에서는 강화학습 경험 관리를 명시적인 시스템 최적화 문제로 드러내는 프레임워크 비종속적 런타임인 Conduit을 제안합니다. Conduit의 핵심은 경험 수집, 경험 배치, 경험 전달을 명시적인 제어 지점으로 노출함으로써 강화학습 경험 처리 의미론을 프레임워크별 실행 로직과 분리하는 런타임 추상화인 경험 데이터 플레인(EDP)입니다. EDP를 기반으로 구축된 Conduit은 이기종 인터커넥트 및 디바이스 메모리 제약 하에서 CPU/GPU 메모리 계층 및 노드 전반에 경험 상태를 분산시키는 용량 제약 및 대역폭 인지 배치와, 강화학습 의미론을 유지하면서 노출되는 경험 경로 지연시간을 줄이기 위해 경험 경로 처리가 실행되는 시점을 제어하는 지연시간 인지 스케줄링을 도입합니다. RLlib의 프레임워크 실행 로직을 변경하지 않고 통합된 Conduit은 노출된 경험 경로 지연시간을 최대 97%, 엔드투엔드 반복 지연시간을 최대 38% 줄이고, 1,024개의 GPU까지 확장되며, 수렴(convergence)을 보존합니다.

arXiv:2610.02442v1cs.LG공통 태그 GPU, Scheduling

AI 기반 열 인지형 데이터 센터 용량 계획

AI-driven Thermal-aware Data Center Capacity Planning

대규모 언어 모델(LLM)의 등장은 데이터 센터의 열 관리에 중대한 도전 과제를 안겨주었습니다. LLM을 위한 집중적인 GPU 연산은 국소적인 핫스팟(hotspot)을 발생시킵니다. 더욱이 학습(training) 및 추론(inference) 급증 시 발생하는 급격한 열 부하 변동은 실시간 냉각 대응을 예측하고 제어하기를 더욱 어렵게 만듭니다. 데이터 센터의 열 인지형(thermal-aware) 용량 계획에는 막대한 비용이 드는 고정밀 CFD 시뮬레이션이 다수 필요합니다. AI 모델은 이전에 보지 못한 설계에 대해서도 실시간 예측을 수행할 수 있습니다. 그러나 기존 연구들은 예측 오차가 크거나 데이터 센터 운영에 대해 지나치게 단순화된 가정을 두고 있습니다. 본 연구에서는 실제 데이터 센터를 대상으로 수 초 만에 열 인지형 용량 계획을 수행할 수 있는 AI 기반 프레임워크를 제시합니다. 내장된 AI 모델은 수많은 주요 파라미터(랙 전력, 서버 전력, 서버 배치, HVAC 설정 등)로부터 학습하며, 수 밀리초 이내에 온도 예측을 제공합니다. 이 AI 모델을 고정밀 CFD 시뮬레이션을 기준으로 검증한 결과, 보지 못한 새로운 데이터 센터 설계에 대해서도 10,000배의 속도 향상과 함께 높은 정확도를 달성할 수 있음을 보여줍니다. 저자들은 이 AI 모델을 바탕으로 열 인지형 용량 계획 프레임워크를 설계했습니다. 이 프레임워크는 데이터 센터 설계자와 운영자가 워크로드 분배와 HVAC 냉각 효율을 즉각적으로 최적화할 수 있도록 지원합니다.

arXiv:2610.02370v1cs.NI공통 태그 GPU, Scheduling

대규모 Network-in-the-Loop: 대규모 병렬 로봇 학습을 위한 GPU 배치 기반 5G 시뮬레이션

Network-in-the-Loop at Scale: GPU-Batched 5G Simulation for Massively Parallel Robot Learning

대규모 병렬 GPU 시뮬레이터는 수천 개의 환경에서 다중 로봇 정책을 학습(training)시키며, 많은 로봇 함대는 각 로봇의 지연 시간이 동료 로봇들의 트래픽에 따라 달라지는 프라이빗 5G(Fifth-Generation) 네트워크를 사용합니다. Network-in-the-loop 학습은 이 루프 내에 시뮬레이션된 5G 네트워크를 배치합니다. 그러나 기존 GPU 로봇 시뮬레이터는 네트워크를 메시지당 독립적인 지연 시간으로 단순화하는 반면, 패킷 수준 시뮬레이터는 CPU 프로세스당 하나의 시나리오만 실행하므로 수천 개의 병렬 환경 속도를 따라가지 못합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Isaac Lab 물리 엔진과 보조를 맞추어 수천 개 환경의 업링크를 동시에 진행하는 GPU 배치 기반 5G NR(New Radio) 모듈인 Isaac-Net을 제시합니다. Isaac-Net은 기지국이 어떤 로봇이 전송할지 결정하는 0.5 ms 주기인 모든 슬롯을 모든 환경에 대해 한 번에 시뮬레이션합니다. 광범위한 실험을 통해 Isaac-Net의 NR 엔진이 다양한 부하 조건에서 ns-3 5G-LENA의 중간값(median) 지연 시간을 재현함을 확인하였으며, 미확인 반송파에서는 중간값 지연 시간이 5~10% 낮고 폐루프 환경당 32대의 로봇 조건에서는 9% 높은 수준을 보였습니다. 또한 해당 엔진은 각 로봇의 가장 최근 전달된 보고의 경과 시간인 정보 수명(AoI, Age of Information)을 재현하는 반면, 메시지당 독립적 지연 시간을 적용할 경우 AoI 꼬리(tail) 분포가 약 3배 과소평가됩니다. 5G-LENA를 기준으로 검증된 구성에서 Isaac-Net은 무작위 정책 하에 측정했을 때 네트워크가 없는 Isaac Lab 속도의 83% 수준으로, 단일 GPU에서 약 100만 대의 로봇에 대해 네트워크를 루프 내에 유지합니다. Isaac-Net은 https://github.com/ZzZTripleZzZ/isaac-net 에서 오픈 소스로 제공됩니다.

arXiv:2609.27040v1cs.DC공통 태그 GPU, Scheduling

EMA: GPU 간 탄력적이고 성능 투명한 메모리

EMA: Elastic and Performance Transparent Memory Across GPUs

다중 GPU 서버는 고대역폭 상호 연결을 통해 집계된 용량을 제공하며, 현대 데이터 센터의 표준 구성 요소가 되었다. 동시에 LLM 추론과 같은 워크로드는 매우 동적인 메모리 수요를 보이며, 이로 인해 한 GPU는 로컬 메모리를 고갈하는 반면 다른 GPU는 여전히 저활용 상태로 남을 수 있다. 이러한 불일치는 GPU 간 탄력적 리소스 공유 모델의 필요성을 이끈다. 우리는 EMA를 제안한다. EMA는 서버 내 GPU가 서로로부터 메모리를 빌리고 회수할 수 있게 하여 탄력적인 용량 풀을 형성하는 메모리 공유 시스템이다. EMA는 차용자와 대여자 모두에 대해 성능 투명성을 보장한다. 차용자의 경우, 프리페치(prefetching)가 원격 접근 비용을 숨겨 애플리케이션이 원격 메모리와 로컬 메모리를 성능상 구별할 수 없게 한다. 대여자의 경우, 빌려준 리소스는 요청 시 회수 가능하며, 성능이 정적 분할(static partitioning)보다 낮아지지 않음을 보장한다. 우리 설계는 메모리에 초점을 맞추지만, 동일한 원칙은 다른 GPU 리소스로 자연스럽게 확장된다. 평가 결과 EMA는 개별 사용자 처리량(throughput)을 최대 52% 개선하고, 2배 용량으로 프로비저닝된 시스템 처리량의 96%를 달성하며, 정적 로컬 기준선과 유사한 지연(latency)을 유지한다.

arXiv:2609.27085v1cs.DC공통 태그 GPU, Scheduling

Crossflow: 에이전트 LLM 서빙을 위한 Prefill-Decode 탄력성

Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving

서빙 용량 수요가 학습을 넘어서면서 서빙 효율이 점점 더 중요해진다. Prefill-decode(P/D) 분리는 두 단계의 특화와 격리를 통해 서빙 효율을 높인다. 이러한 이점은 정적 분할에 기반하지만, 단계별 수요는 정적이지 않다. 대규모 LLM 플릿에서 캐시되지 않은 입력 대 출력 토큰 비율은 분 단위 시간 척도에서 피크 대 평균 비가 최대 4.7배에 이르는 것을 관찰했고, 공개 에이전트 트레이스에서는 시간당 비율이 하루 안에서 중앙값 24.5배 범위에 걸치는 반면, 레플리카 재할당에는 수십 분이 걸린다. 에이전트 트래픽은 이러한 불일치를 더욱 심화시킨다. 각 풀을 95백분위수로 크기를 잡으면 클러스터 용량의 최대 17%가 미사용으로 남고, 그보다 작게 잡으면 동일한 불균형이 대기와 실현되지 못한 처리량으로 전환된다. 노드 역할을 바꾸지 않고 이 경계를 탄력적으로 만드는 Crossflow를 제안한다. 각 디코드 노드는 로컬 prefill 연산, KV 용량, 전송 작업, 예상 출력을 한정하는 단기·철회 가능한 lease를 공개한다. 공개 및 내부 트레이스에서 Crossflow는 정적 P/D 대비 기하평균 토큰 처리량을 16.2–17.4% 향상시키고, 고부하에서는 최대 43.4%까지 개선하며, 평가한 모든 지점에서 평균 TTFT를 줄인다.

arXiv:2609.27547v1cs.LG공통 태그 GPU, Scheduling

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.