PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21985v1cs.DC

효율적인 LLM 추론을 위한 통합 정적-동적 가지치기

Unified Static-Dynamic Pruning for Efficient LLM Inference

대규모 언어 모델(LLM)의 배포가 증가하면서, 낮은 연산 강도와 대역폭 제약 커널이 추론 비용을 지배하는 자기회귀 디코딩의 계산 및 메모리 병목이 더욱 두드러지고 있다. 가중치 가지치기는 유망한 해결책을 제공하지만, 기존 방법은 영구적으로 중복 가중치를 제거하지만 적응성이 부족한 정적 가지치기(SP), 또는 입력 희소성에 적응하지만 런타임 불규칙성을 유발하는 동적 가지치기(DP) 중 하나에 국한되어 있다. 본 논문은 GPU에서의 효율적인 LLM 추론을 위해 비구조화 SP와 입력 적응형 DP를 통합하는 통합 희소 추론 프레임워크인 SPDP를 제시한다. SPDP는 새로운 Tiled-Column-wise Bitmap Compressed(Tiled-CBC) 형식과 두 가지 상호 보완적인 GPU 커널을 공동 설계한다: (1) 세밀한 런타임 활성화 건너뛰기를 위한 Hybrid Activation-aware Dynamic Shared-Memory Bitmap Decoding(HAD-SMBD)을 특징으로 하는 CUDA 코어 spMspV 커널, (2) prefill 연산에 최적화된 Tensor-Core SpMM 커널. 이 형식-커널 공동 설계는 정적 및 동적 희소성을 조화시키며, LLM 추론의 두 단계 모두에서 대역폭 효율적인 메모리 접근과 높은 연산 강도를 유지한다. 추론 최적화 GPU에 대한 포괄적 평가에서 SPDP는 SpInfer와 같은 최신 희소 프레임워크 대비 평균 1.24x–1.37x(최대 2.51x)의 속도 향상을 달성하면서, 최대 25% 더 높은 희소성에서 perplexity를 동등하게 유지한다. SPDP는 추론 효율-품질 파레토 프론티어를 전진시키며, 통합 정적-동적 가지치기가 대규모 LLM 서빙에서 상당한 처리량 및 와트당 성능 개선을 제공할 수 있음을 보여준다.

arXiv:2607.19431v1cs.AR

BRIM: 워크로드 균형 양측 비트 직렬 희소 추론 가속기

BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse Inference Accelerator

비트 직렬 가속기는 비트 수준 희소성을 활용하여 DNN 추론 비용을 줄이지만, 기존 설계는 한쪽 피연산자에서만 희소성을 활용하여 속도 향상에 한계가 있다. 희소성 활용을 양쪽 피연산자 모두에 동시에 확장하면 부분 곱이 복합적으로 감소하지만, 중요한 새로운 병목인 워크로드 불균형이 발생한다. 동시에 처리되는 각 가중치-활성화 쌍의 실행 비용은 독립적으로 변하는 두 피연산자의 비영 비트 수의 곱에 따라 달라지므로, 함께 완료되어야 하는 쌍들이 크게 다른 시점에 끝나 더 빠른 연산이 유휴 상태로 남는다. 기존 양측 설계에서 이로 인해 PE 활용률이 56-64%로 제한됨을 보인다. 본 논문은 이 병목을 직접 겨냥하는 하드웨어-소프트웨어 공동 설계 양측 비트 직렬 희소 가속기인 BRIM을 제시한다. BRIM은 두 가지 통합 메커니즘을 결합한다: 1) Cyclic-Balanced Pruning(CBP) — 프로파일링된 활성화 통계에 기반하여 가중치 표현을 재구성하고, 동시에 처리되는 쌍들 간 기대 워크로드를 오프라인에서 균등화하는 사후 학습 가중치 최적화; 2) Pairwise Slot Donation — 잔여 런타임 불균형을 미미한 면적 오버헤드로 흡수하는 경량 하드웨어 메커니즘. 동일 면적(iso-area) 제약 하에서 CNN, ViT, LLM에 대해 평가한 결과, BRIM은 기존 양측 설계 대비 PE 활용률 90% 이상, 최대 2.37배 속도 향상, 최대 1.63배 에너지 효율 개선을 달성한다.