효율적인 LLM 추론을 위한 통합 정적-동적 가지치기
Unified Static-Dynamic Pruning for Efficient LLM Inference
대규모 언어 모델(LLM)의 배포가 증가하면서, 낮은 연산 강도와 대역폭 제약 커널이 추론 비용을 지배하는 자기회귀 디코딩의 계산 및 메모리 병목이 더욱 두드러지고 있다. 가중치 가지치기는 유망한 해결책을 제공하지만, 기존 방법은 영구적으로 중복 가중치를 제거하지만 적응성이 부족한 정적 가지치기(SP), 또는 입력 희소성에 적응하지만 런타임 불규칙성을 유발하는 동적 가지치기(DP) 중 하나에 국한되어 있다. 본 논문은 GPU에서의 효율적인 LLM 추론을 위해 비구조화 SP와 입력 적응형 DP를 통합하는 통합 희소 추론 프레임워크인 SPDP를 제시한다. SPDP는 새로운 Tiled-Column-wise Bitmap Compressed(Tiled-CBC) 형식과 두 가지 상호 보완적인 GPU 커널을 공동 설계한다: (1) 세밀한 런타임 활성화 건너뛰기를 위한 Hybrid Activation-aware Dynamic Shared-Memory Bitmap Decoding(HAD-SMBD)을 특징으로 하는 CUDA 코어 spMspV 커널, (2) prefill 연산에 최적화된 Tensor-Core SpMM 커널. 이 형식-커널 공동 설계는 정적 및 동적 희소성을 조화시키며, LLM 추론의 두 단계 모두에서 대역폭 효율적인 메모리 접근과 높은 연산 강도를 유지한다. 추론 최적화 GPU에 대한 포괄적 평가에서 SPDP는 SpInfer와 같은 최신 희소 프레임워크 대비 평균 1.24x–1.37x(최대 2.51x)의 속도 향상을 달성하면서, 최대 25% 더 높은 희소성에서 perplexity를 동등하게 유지한다. SPDP는 추론 효율-품질 파레토 프론티어를 전진시키며, 통합 정적-동적 가지치기가 대규모 LLM 서빙에서 상당한 처리량 및 와트당 성능 개선을 제공할 수 있음을 보여준다.