PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18463v1cs.DC

GPU에서의 일반화 선형 모델을 위한 혼합 정밀도 통신 회피 SGD

Mixed-Precision Communication-Avoiding SGD for Generalized Linear Models on GPUs

분산 확률적 경사하강법(SGD)은 각 반복(iteration)마다 프로세스 간 AllReduce가 필요하므로 연산보다는 통신에 의해 제한됩니다. 통신 회피 SGD(CA-SGD)는 $s$개의 연속된 AllReduce를 $sb\times sb$ 그람 행렬에 대한 단일 AllReduce로 대체하여 $s$번의 반복에 걸쳐 통신 비용을 분산시키며, 더 적은 동기화 지점을 위해 더 많은 연산과 대역폭을 사용하는 방식으로 작동합니다. 행렬 하드웨어와 낮은 정밀도 형식을 갖춘 최신 GPU는 그람 GEMM(일반 행렬-행렬 곱셈)을 가속화하고 BF16 트래픽을 줄임으로써 이러한 비용을 상쇄합니다. 본 연구에서는 NVIDIA GPU에서 일반화 선형 모델을 위한 혼합 정밀도 CA-SGD를 다룹니다. 우리의 유한 정밀도 분석은 하나의 CA-SGD 외부 반복에 대한 지역 반올림 오차를 9개의 독립적인 정밀도 선택 사항으로 분해하며, 하드웨어 의존성이 낮은 정밀도의 단위 반올림(unit roundoff)으로만 제한되므로, 결과적인 전략은 원칙적으로 GPU 세대 간에 전이 가능합니다. 해당 방식은 입력 행렬과 마진(margin) 벡터를 낮은 정밀도로 저장하고, 높은 정밀도 누적을 사용하여 낮은 정밀도 입력에서 그람 행렬을 계산하며, 이를 높은 정밀도로 통신한 후 높은 정밀도로 내부 재귀 및 가중치 업데이트를 수행합니다. NERSC Perlmutter A100 GPU에서 혼합 정밀도 CA-SGD는 로지스틱, 선형 및 포아송 문제에서 FP32 SGD의 손실(loss)과 $0.5\%$ 이내로 일치하며, epsilon, SUSY, HIGGS, synth, Poisson-synth 데이터셋에서 FP32 SGD 대비 $5.1$--$6.8\times$의 속도 향상을 달성했습니다. 우리의 소프트웨어는 https://doi.org/10.5281/zenodo.20448273에서 확인할 수 있습니다.