Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
한국어 초록
그래프 신경망(GNN)은 다양한 실제 시나리오에서 파생된 그래프 데이터셋에서 학습하는 데 널리 사용됩니다. 매우 큰 그래프에서 학습하려면 분산 학습이 필요하며, 샘플링을 활용한 미니배칭은 GNN 학습을 병렬화하는 데 널리 사용되는 접근법입니다. 기존의 분산 미니배치 접근법은 비용이 큰 샘플링 방법과 데이터 병렬성을 사용할 때의 제한적인 확장성으로 인해 심각한 성능 병목을 겪습니다. 본 연구에서는 통신 없는 분산 샘플링, 3차원 병렬 행렬 곱셈(3D PMM), 그리고 데이터 병렬성을 결합한 확장 가능한 미니배치 GNN 학습을 위한 4차원 병렬 프레임워크인 ScaleGNN을 제안합니다. ScaleGNN은 균일 정점 샘플링 알고리즘을 도입하여 각 프로세스(GPU 디바이스)가 프로세스 간 통신 없이 로컬 미니배치, 즉 서브그래프 분할을 구성할 수 있게 합니다. 3D PMM은 일반적인 데이터 병렬성보다 훨씬 낮은 통신 오버헤드로 미니배치 학습을 훨씬 더 많은 GPU 수로 확장할 수 있게 합니다. 또한 샘플링과 학습을 중첩하고, 데이터를 더 낮은 정밀도로 전송하여 통신 오버헤드를 줄이며, 커널 융합과 통신-연산 중첩을 수행하는 추가 최적화를 제시합니다. 우리는 다섯 개의 그래프 데이터셋에서 ScaleGNN을 평가하고, Perlmutter에서 최대 2048 GPU, Frontier에서 최대 2048 GCD, Tuolumne에서 최대 1024 GPU까지의 강한 스케일링을 입증합니다. Perlmutter에서 ScaleGNN은 ogbn-products에서 최신 최고 성능(SOTA) 기준선 대비 전체 학습 속도를 3.5배 향상시킵니다.
요약
대규모 그래프 데이터를 학습하는 그래프 신경망(Graph Neural Network, GNN)은 추천 시스템, 부정행위 탐지, 과학적 발견과 같은 다양한 응용에서 중요한 역할을 해 왔지만, 그래프 규모가 극단적으로 커질수록 단일 장치에서의 학습만으로는 한계가 분명해집니다. 이를 해결하기 위해 미니배치(mini-batch) 학습과 분산 학습이 널리 사용되지만, 기존의 분산 미니배치 방식은 샘플링 비용이 크고 데이터 병렬성만으로는 충분한 확장성을 얻기 어렵다는 문제가 있었습니다. 특히 이웃 샘플링과 원격 피처 접근 과정에서 발생하는 통신 비용은 학습 파이프라인의 병목으로 작용하며, GPU 수를 늘려도 전체 학습 시간이 기대만큼 줄지 않는 경우가 많았습니다. 이러한 배경에서 제안된 ScaleGNN은 통신 없는 분산 샘플링, 3차원 병렬 행렬 곱셈(Parallel Matrix Multiplication, PMM), 그리고 데이터 병렬성을 결합한 4차원(4D) 병렬 프레임워크로서 대규모 GNN 학습의 구조를 다시 설계합니다. 핵심 아이디어는 균일 정점 샘플링(uniform vertex sampling)을 통해 각 프로세스가 다른 프로세스와의 통신 없이 로컬 미니배치, 즉 서브그래프 분할을 직접 구성하도록 만드는 데 있으며, 이를 통해 샘플링 단계 자체를 분산 통신의 부담에서 분리합니다. 이 접근은 단순히 샘플링을 빠르게 만드는 수준을 넘어, 샘플링과 학습을 파이프라인 형태로 겹쳐 실행함으로써 학습의 중요한 경로에서 샘플링 비용을 사실상 숨긴다는 점에서 의미가 큽니다. 더 나아가 3차원 병렬 행렬 곱셈(Parallel Matrix Multiplication, PMM)을 활용해 미니배치 GNN 학습을 기존의 순수 데이터 병렬 방식보다 훨씬 많은 GPU 환경으로 확장할 수 있도록 하였고, 그 과정에서 통신 오버헤드를 체계적으로 낮추었습니다. 여기에 저정밀도 통신, 커널 융합(kernel fusion), 통신과 계산의 중첩 같은 시스템 최적화를 추가하여, 단일 알고리즘의 개선을 넘어 엔드투엔드(end-to-end) 학습 성능을 끌어올리는 방향으로 설계를 완성했습니다. 이러한 설계는 GNN 학습의 병목이 단순한 연산량보다 샘플링과 통신 구조에 있다는 점을 명확히 보여 주며, 대규모 시스템에서의 효율적인 확장을 가능하게 합니다. 실험적으로 ScaleGNN은 다섯 개 그래프 데이터셋에서 강한 스케일링(strong scaling)을 입증했으며, Perlmutter에서 2048 GPU, Frontier에서 2048 GCD(Graphics Core Die), Tuolumne에서 1024 GPU까지 확장되는 성능을 보였습니다. 특히 Perlmutter 환경의 ogbn-products 데이터셋에서는 기존 최고 수준(state-of-the-art, SOTA) 기준선 대비 3.5배의 엔드투엔드 학습 속도 향상을 달성하여, 제안한 방법론이 실제 대규모 환경에서도 효과적임을 보여 주었습니다. 또한 통신 없는 샘플링 알고리즘은 정확도 측면에서도 경쟁력을 보여, 대규모 학습의 효율성과 예측 성능을 함께 확보할 수 있음을 시사합니다. 종합하면, 이 연구는 대규모 그래프 학습에서 오랫동안 남아 있던 샘플링과 통신의 병목을 구조적으로 해결하고, 차세대 초대형 그래프 신경망 학습을 위한 확장 가능한 병렬화 전략을 제시했다는 점에서 중요한 의의를 갖습니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.