arXiv:2301.00391

PiPAD: Pipelined and Parallel Dynamic GNN Training on GPUs

Chunyang Wang, Desen Sun, Yuebin Bai

제출 2023-01-01

원문 초록

Dynamic Graph Neural Networks (DGNNs) have been broadly applied in various real-life applications, such as link prediction and pandemic forecast, to capture both static structural information and temporal characteristics from dynamic graphs. Combining both time-dependent and -independent components, DGNNs manifest substantial parallel computation and data reuse potentials, but suffer from severe memory access inefficiency and data transfer overhead under the canonical one-graph-at-a-time training pattern. To tackle the challenges, we propose PiPAD, a $\underline{\textbf{Pi}}pelined$ and $\underline{\textbf{PA}}rallel$ $\underline{\textbf{D}}GNN$ training framework for the end-to-end performance optimization on GPUs. From both the algorithm and runtime level, PiPAD holistically reconstructs the overall training paradigm from the data organization to computation manner. Capable of processing multiple graph snapshots in parallel, PiPAD eliminates the unnecessary data transmission and alleviates memory access inefficiency to improve the overall performance. Our evaluation across various datasets shows PiPAD achieves $1.22\times$-$9.57\times$ speedup over the state-of-the-art DGNN frameworks on three representative models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2412.05641v2cs.LG공통 태그 Link Prediction공식 코드 · Papers with Code

하이퍼그래프 신경망을 활용한 하이퍼에지 이상 탐지

Hyperedge Anomaly Detection with Hypergraph Neural Network

하이퍼그래프(hypergraph)는 데이터 개체 간의 고차(higher-order) 관계를 모델링할 수 있게 해주는 데이터 구조입니다. 기존의 그래프 구조 데이터는 쌍별(pairwise) 관계만을 표현할 수 있는 반면, 하이퍼그래프는 여러 개체를 제한 없이 연결할 수 있어 다양한 실제 응용 분야에서 필수적입니다. 노드(node) 분류, 링크 예측 등 다양한 문제 설정에 대해 하이퍼그래프 학습 알고리즘이 활발히 연구되어 왔습니다. 그러나 하이퍼그래프에서의 이상 탐지(anomaly detection)에 대한 연구는 훨씬 덜 진행되었습니다. 이상 탐지는 일반적인 패턴에서 벗어나는 이벤트를 식별하며, 하이퍼그래프에 적용하여 비정상적인 고차 관계를 탐지할 수 있습니다. 본 연구에서는 하이퍼그래프 내 이상 관계를 식별하기 위한 엔드투엔드(end-to-end) 하이퍼그래프 신경망 기반 모델(model)을 제안합니다. 제안된 알고리즘은 레이블이 지정된 데이터 없이도 비지도 방식으로 작동합니다. 여러 실제 데이터셋에 대한 광범위한 실험을 통해 이상 하이퍼에지를 탐지하는 데 있어 우리 모델의 효과성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.