Analysis and Optimization of GNN-Based Recommender Systems on Persistent Memory
원문 초록
Graph neural networks (GNNs), which have emerged as an effective method for handling machine learning tasks on graphs, bring a new approach to building recommender systems, where the task of recommendation can be formulated as the link prediction problem on user-item bipartite graphs. Training GNN-based recommender systems (GNNRecSys) on large graphs incurs a large memory footprint, easily exceeding the DRAM capacity on a typical server. Existing solutions resort to distributed subgraph training, which is inefficient due to the high cost of dynamically constructing subgraphs and significant redundancy across subgraphs. The emerging persistent memory technologies provide a significantly larger memory capacity than DRAMs at an affordable cost, making single-machine GNNRecSys training feasible, which eliminates the inefficiencies in distributed training. One major concern of using persistent memory devices for GNNRecSys is their relatively low bandwidth compared with DRAMs. This limitation can be particularly detrimental to achieving high performance for GNNRecSys workloads since their dominant compute kernels are sparse and memory access intensive. To understand whether persistent memory is a good fit for GNNRecSys training, we perform an in-depth characterization of GNNRecSys workloads and a comprehensive analysis of their performance on a persistent memory device, namely, Intel Optane. Based on the analysis, we provide guidance on how to configure Optane for GNNRecSys workloads. Furthermore, we present techniques for large-batch training to fully realize the advantages of single-machine GNNRecSys training. Our experiment results show that with the tuned batch size and optimal system configuration, Optane-based single-machine GNNRecSys training outperforms distributed training by a large margin, especially when handling deep GNN models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
그래프 신경망의 도메인 횡단 응용: 필수 인사이트 총람
Graph Neural Networks Applications Across Domains: All Insights You Need
그래프 신경망(GNN)은 틈새적인 표현 학습 기법에서 벗어나, 데이터가 관계적 구조를 지니는 곳이라면 어디서나 기본 모델 클래스로 자리잡았다. 이제 핵심 질문은 메시지 패싱이 특정 데이터셋에 도움이 되는지 여부가 아니라, 그래프 구조가 계산 비용을 정당화하는 곳과 그렇지 않은 곳이 어디인지에 관한 것이다. 본 서베이는 단일한 설계 공간을 중심으로 분야를 체계화하고, 공통된 제1원리로부터 스펙트럴 및 공간적 정식화를 도출하며, 현재 아키텍처가 구별할 수 있는 것과 없는 것에 대한 명시적 진술과 함께 표현력을 Weisfeiler-Leman 계층구조와 연결한다. 이러한 방법론적 골격을 바탕으로 추천 시스템 및 소셜 네트워크, 지식 그래프와 언어 모델 통합, 신약 개발 및 분자 속성 학습, 헬스케어 및 신경과학, 컴퓨터 비전, 교통 및 도시 컴퓨팅, 전력 및 재생에너지 시스템, 무선 통신 및 6세대(6G) 네트워크, 사기 탐지 및 사이버보안, 산업 예지 정비, 재료 과학, 기후 모델링 등 열두 개의 응용 도메인을 살펴본다. 각 도메인에 대해 그래프 구성 방식과 그 비용을 명시하고, 어떤 아키텍처 계열이 지배적이며 그 이유는 무엇인지 규명하며, 보고된 성능 향상을 취약한 베이스라인이나 유리한 데이터 분할에 의한 인공적 결과와 구분한다. 도메인 간 비교를 통해 반복적으로 나타나는 패턴이 드러난다: 이질적 연결성(heterophily)과 대규모 스케일은 거의 모든 곳에서 동일한 모델들의 성능을 저하시키고, 시간적 그래프는 정적 그래프보다 여전히 다루기 어려우며, 공개 리더보드 상위권 아키텍처가 실제 배포에 이르는 경우는 드물다. 과도한 평활화(over-smoothing), 과도한 압축(over-squashing), 강건성, 분포 변화, 공정성, 설명 가능성은 마무리 체크리스트가 아니라 실제 도입 여부를 결정짓는 제약 조건으로 다룬다.
Asymmetric Transitivity Preserving Graph Embedding
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
metapath2vec: Scalable Representation Learning for Heterogeneous Networks
A Reproducibility Study of Product-side Fairness in Bundle Recommendation
대규모 모델 군집을 위한 템플릿 기반 머신러닝 표준화
Template-Driven Machine Learning Standardization for Large Model Fleets
현대의 컴퓨팅 광고 플랫폼은 일반적으로 클릭률, 전환율 및 기타 최적화 이벤트와 같은 사용자 반응을 예측하기 위해 추천 시스템에 의존한다. 다양한 제품 지면과 광고주 목표를 지원하기 위해 이러한 플랫폼은 방대한 머신러닝(ML) 모델 생태계를 유지한다. 그러나 이러한 규모로 운영하면 상당한 개발 및 효율성 문제가 발생한다. 이러한 모델을 정기적으로 갱신하고 새로운 기법을 전파하는 데 상당한 엔지니어링 노력이 필요하며, 그 결과 생태계 전반에 혁신을 배포하는 데 긴 지연이 생긴다. 본 논문은 추천 시스템에서 표준화된 모델 구축 접근법과 모델별 독립 최적화 간의 모델 성능, 효율성, 기법 전파를 비교하는 대규모 실증 연구를 제시한다. 표준화를 촉진하기 위해 다양한 데이터 분포와 최적화 이벤트에 적응할 수 있는 고성능 모델을 생성하는 프레임워크인 Standard Model Template(SMT)을 제안한다. 표준화된 ML 모델 구성 요소를 조합함으로써 SMT는 기법 전파 복잡도를 $O(n \cdot k)$에서 $O(n+k)$로 줄이며, 여기서 $n$은 모델 수, $k$는 기법 수이다. Meta의 프로덕션 광고 랭킹 생태계에서 다섯 번의 글로벌 개발 주기에 걸쳐 광범위한 모델군을 평가한 결과, 출시된 성과는 다음을 보여 준다. (1) 서빙 용량을 유지한 채 교차 엔트로피가 평균 0.77% 개선되었고, (2) 온라인 지표가 누적 1.52% 향상되었으며, (3) 모델당 반복 엔지니어링 시간이 92% 감소하였고, (4) 기법-모델 쌍 도입 처리량이 6.3$\times$ 증가하였다. 이러한 결과는 다양한 최적화 목표가 본질적으로 다양화된 ML 모델 설계를 요구한다는 통념에 도전한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.