Slicing Is All You Need: Towards A Universal One-Sided Algorithm for Distributed Matrix Multiplication
한국어 초록
많은 중요한 응용 프로그램이 과학, 데이터 분석 및 AI 작업 부하에서 분산 행렬 곱셈에 의존합니다. 이전 연구에서는 1D, 2D, 1.5D 및 2.5D 알고리즘을 포함하여 다양한 문제 크기와 분할에 적합한 많은 알고리즘을 개발했습니다. 현재 작업의 한계는 기존 알고리즘이 분할의 하위 집합에만 제한된다는 것입니다. 가능한 모든 분할 공간을 지원하기 위해서는 여러 알고리즘 구현이 필요합니다. 특정 분할 집합에 대한 알고리즘 구현이 없는 경우, 하나 이상의 피연산자를 재분배해야 하며, 이로 인해 통신 비용이 증가합니다. 본 논문에서는 모든 조합의 분할 및 복제 계수를 지원하는 분산 행렬 곱셈을 위한 범용 단일 측면 알고리즘을 제시합니다. 우리의 알고리즘은 슬라이싱(인덱스 산술)을 사용하여 함께 곱해야 하는 겹치는 타일 집합을 계산합니다. 이 로컬 행렬 곱셈 목록은 직접 실행되거나 재정렬되어 최적화된 중간 표현(IR)로 낮춰져 중복을 극대화할 수 있습니다. 우리는 노드 내 상호 연결을 사용하여 직접 GPU 간 통신을 수행하는 고급 C++ 기반 PGAS 프로그래밍 프레임워크를 사용하여 알고리즘을 구현합니다. 다양한 분할 및 복제 계수에 대한 성능을 평가한 결과, 우리의 연구는 AI 모델을 목표로 하는 고도로 최적화된 분산 텐서 라이브러리인 PyTorch DTensor와 경쟁력이 있음을 발견했습니다.
요약
분산 행렬 곱셈은 과학, 데이터 분석 및 인공지능(AI) 작업에서 필수적인 연산으로, 효율적인 알고리즘 개발이 요구된다. 기존의 알고리즘들은 1D, 2D, 1.5D 및 2.5D와 같은 다양한 분할 방식에 적합하지만, 특정 분할 방식에만 제한되어 있어 모든 가능한 조합을 지원하기 위해서는 여러 구현이 필요하다. 이러한 제한은 피연산자의 재분배를 초래하고, 이는 통신 비용을 증가시키는 문제를 야기한다. 본 논문에서는 모든 조합의 분할 방식과 복제 계수를 지원하는 보편적인 단일 측면 알고리즘을 제안한다. 이 알고리즘은 슬라이싱(인덱스 산술)을 활용하여 곱셈이 필요한 겹치는 타일 집합을 계산하고, 생성된 로컬 행렬 곱셈 목록을 직접 실행하거나 최적화된 중간 표현(Intermediate Representation, IR)으로 낮추어 계산과 통신의 겹침을 극대화한다. 제안된 알고리즘은 고급 C++ 기반의 PGAS(Partitioned Global Address Space) 프로그래밍 프레임워크를 통해 구현되며, GPU 간의 직접 통신을 지원한다. 다양한 분할 방식과 복제 계수에 대한 성능 평가 결과, 제안된 알고리즘은 PyTorch DTensor와 경쟁할 수 있는 성능을 보였다. 특히, 알고리즘은 행렬 A, B, C의 모든 조합에 대한 분할 방식과 복제 계수를 지원하여 조합적으로 큰 매개변수 집합을 테스트할 수 있다. 실험 결과, 알고리즘은 직접 실행 방식과 최적화된 IR로 낮추는 방식 모두에서 효율성을 입증하였으며, 특히 비동기성을 허용한 최적화가 성능 향상에 기여하였다. 이 연구는 분산 행렬 곱셈의 효율성을 높이고, 다양한 AI 모델에 대한 적용 가능성을 확장하는 데 중요한 기여를 한다. 향후 연구에서는 이 알고리즘을 생산 SPMD(Single Program Multiple Data) 시스템에 통합하여 지원되는 분포의 수를 더욱 확장할 계획이다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.