GPU에서의 일반화 선형 모델을 위한 혼합 정밀도 통신 회피 SGD
Mixed-Precision Communication-Avoiding SGD for Generalized Linear Models on GPUs
한국어 초록
분산 확률적 경사하강법(SGD)은 각 반복(iteration)마다 프로세스 간 AllReduce가 필요하므로 연산보다는 통신에 의해 제한됩니다. 통신 회피 SGD(CA-SGD)는 $s$개의 연속된 AllReduce를 $sb\times sb$ 그람 행렬에 대한 단일 AllReduce로 대체하여 $s$번의 반복에 걸쳐 통신 비용을 분산시키며, 더 적은 동기화 지점을 위해 더 많은 연산과 대역폭을 사용하는 방식으로 작동합니다. 행렬 하드웨어와 낮은 정밀도 형식을 갖춘 최신 GPU는 그람 GEMM(일반 행렬-행렬 곱셈)을 가속화하고 BF16 트래픽을 줄임으로써 이러한 비용을 상쇄합니다. 본 연구에서는 NVIDIA GPU에서 일반화 선형 모델을 위한 혼합 정밀도 CA-SGD를 다룹니다. 우리의 유한 정밀도 분석은 하나의 CA-SGD 외부 반복에 대한 지역 반올림 오차를 9개의 독립적인 정밀도 선택 사항으로 분해하며, 하드웨어 의존성이 낮은 정밀도의 단위 반올림(unit roundoff)으로만 제한되므로, 결과적인 전략은 원칙적으로 GPU 세대 간에 전이 가능합니다. 해당 방식은 입력 행렬과 마진(margin) 벡터를 낮은 정밀도로 저장하고, 높은 정밀도 누적을 사용하여 낮은 정밀도 입력에서 그람 행렬을 계산하며, 이를 높은 정밀도로 통신한 후 높은 정밀도로 내부 재귀 및 가중치 업데이트를 수행합니다. NERSC Perlmutter A100 GPU에서 혼합 정밀도 CA-SGD는 로지스틱, 선형 및 포아송 문제에서 FP32 SGD의 손실(loss)과 $0.5\%$ 이내로 일치하며, epsilon, SUSY, HIGGS, synth, Poisson-synth 데이터셋에서 FP32 SGD 대비 $5.1$--$6.8\times$의 속도 향상을 달성했습니다. 우리의 소프트웨어는 https://doi.org/10.5281/zenodo.20448273에서 확인할 수 있습니다.
원문 초록
Distributed stochastic gradient descent (SGD) is limited by communication rather than computation, since each iteration requires an AllReduce across processes. Communication-avoiding SGD (CA-SGD) amortizes communication over $s$ iterations by replacing $s$ consecutive AllReduces with a single AllReduce of an $sb\times sb$ Gram matrix, trading more computation and bandwidth for fewer synchronization points. Modern GPUs with matrix hardware and reduced-precision formats offset this by accelerating the Gram GEMM and shrinking BF16 traffic. We study mixed-precision CA-SGD for generalized linear models on NVIDIA GPUs. Our finite-precision analysis decomposes the local rounding error of one CA-SGD outer iteration into nine independent precision choices, depending on the hardware only through its low-precision unit roundoffs, so the resulting recipes transfer in principle across GPU generations. The recipe stores the input matrix and margin vector in low precision, computes the Gram matrix from low-precision inputs with high-precision accumulation, communicates it in high precision, and performs the inner recurrence and weight updates in high precision. On NERSC Perlmutter A100 GPUs, mixed-precision CA-SGD matches FP32 SGD loss within $0.5\%$ on logistic, linear, and Poisson problems and reaches $5.1$--$6.8\times$ speedup over FP32 SGD on epsilon, SUSY, HIGGS, synth, and Poisson-synth. Our software is available at https://doi.org/10.5281/zenodo.20448273
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18463v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
검색 및 하드웨어 제약 하에서 튀르키예어 도메인 문서를 위한 오픈 가중치 LLM 평가
Evaluating Open-Weight LLMs for Turkish Domain Documents Under Retrieval and Hardware Constraints
튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.
정확한 미니맥스 1비트 비편향 압축: 헤비테일의 필연성과 유한 랜덤성 근사
Exact Minimax One-Bit Unbiased Compression: Heavy-Tail Necessity and Finite-Randomness Approximation
점별 비편향(pointwise-unbiased) 1비트 압축기는 1비트만 전송하면서도 모든 실수 입력을 기댓값 상에서 복원한다. CDF가 $F$이고 평균이 $m$인 스칼라 소스 $P$와 $\mathcal J(P)=\int_{\mathbb R}\sqrt{F(r)(1-F(r))}\,dr$에 대해, 우리는 $\mathbb R$ 상에서 비편향인 모든 퍼블릭 코인(public-coin) 1비트 코드에 걸친 소스 평균 복원 2차 모멘트의 하한(infimum)이 $m^2+\mathcal J(P)^2$임을 증명한다. 정칙(regular)이며 전체 지지집합(full-support)을 갖는 소스의 경우, 분포 중심(distribution-centered) 랜덤 임계값 코드가 이 값을 달성한다. 임의의 랜덤화 이진 인코더에 대한 역(converse) 증명과 등호 분석을 통해, 영집합(null set), 비트 재라벨링, 퍼블릭 시드 세분화를 제외하고 이 값을 달성하는 모든 코드를 특성화한다. 가우시안 위치 패밀리 $\mathcal N(\mu,\sigma^2)$ ($|\mu|\le c\sigma$)의 경우, 양 끝점 평균에 대한 균등 사전분포(equal prior)가 최악의 경우(least favorable)이며 미니맥스 값은 $\sigma^2\Lambda_c^2$이다. 가우시안에서 정확한 미니맥스 최적성을 얻으려면 임계적인 헤비테일이 필요하다. 즉, 끝점 평균에서 절대 모멘트는 정확히 $p<3$일 때만 유한하며, $\Pr(W>t)=\Theta(t^{-3}/\sqrt{\log t})$이다. 코시 혼합(Cauchy-mixture) 강건화는 2차 모멘트를 최대 $1/(1-\eta)$배만 증가시키면서 모든 양의 차수 절대 모멘트를 유한하게 만든다. 유한 지지집합의 퍼블릭 랜덤성과 유한한 디코더 평균으로는 $\mathbb R$ 상에서 정확한 비편향성을 달성할 수 없지만, 정확히 $R$개의 공유 랜덤 비트를 사용하는 유계 출력(bounded-output) 근사는 미니맥스 상수로 수렴하는 명시적인 바이어스 및 2차 모멘트 경계를 갖는다. 마지막으로, 좌표 할당(coordinate allocation)은 가우시안 그래디언트 쿼리당 정확히 $B$비트를 전달한다. Kim의 연속 이차 하드 패밀리(continuous quadratic hard family)에서, 기대 최적화 보장은 $(\sigma,d,B,\varepsilon)$에 대한 의존성 측면에서 하한과 일치하며, 유한 분산 고확률 경계(high-probability bound)는 로그 수준의 신뢰도 인자만 추가로 발생시킨다.
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
토론
이 논문과 연결된 포럼 글이 아직 없습니다.