중요도 저수지: 미분 가능한 부분집합 샘플링을 통한 반구조화 희소성 학습
Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling
한국어 초록
반구조화(semi-structured) $N$:$M$ 희소성은 대규모 언어 모델(LLM)을 가속화하기 위한 실용적인 방향으로 부상했습니다. 그러나 기존의 학습 가능한 마스크 접근 방식은 상당한 매개변수 및 메모리 오버헤드를 유발하여 대규모 모델 및 공격적인 희소성 체제로의 확장성을 제한합니다. 본 연구에서는 효율성과 확장성을 조화시키는 관점에서 반구조화 가지치기를 재검토합니다. 우리는 미분 가능한 부분집합 샘플링을 통해 희소성 마스크를 학습하는 경량 반구조화 가지치기 프레임워크인 중요도 저수지(Reservoir of Importance, RoI)를 제안합니다. 실현 가능한 모든 $N$:$M$ 패턴에 대한 전체 범주형 분포를 모델링하는 기존 방법과 달리, RoI는 희소성 마스크 학습을 위한 콤팩트 로짓 매개변수화를 도입하고 마스크 선택을 위해 비복원 추출(sampling without replacement)을 수행함으로써 학습 가능한 매개변수를 조합 복잡도에서 $\mathcal{O}({M})$으로 줄입니다. 그 결과, RoI는 하드웨어 친화적인 희소성 패턴과 완벽하게 일치하면서도 1.5-8.75배 더 적은 학습 가능한 매개변수와 현저히 낮은 메모리 비용만을 필요로 합니다. Qwen2.5 LLM 패밀리(0.5-7B 매개변수)의 다양한 규모에 걸친 광범위한 평가는 RoI가 강력한 메모리 효율성, 안정성 및 더 공격적인 $N$:$M$ 희소성 패턴에 대한 확장성과 함께 경쟁력 있는 성능을 달성함을 입증하여, 효율적인 LLM 배포를 위한 실용적인 경로를 제공합니다.
원문 초록
Semi-structured $N$:$M$ sparsity has emerged as a practical direction for accelerating large language models (LLMs). However, existing learnable-mask approaches incur substantial parameter and memory overhead, limiting their scalability to large models and aggressive sparsity regimes. In this work, we revisit semi-structured pruning from a perspective that reconciles efficiency with scalability. We propose Reservoir of Importance (RoI), a lightweight semi-structured pruning framework that learns sparsity masks through differentiable subset sampling. Unlike prior methods that model full categorical distributions over all feasible $N$:$M$ patterns, RoI introduces a compact-logit parameterization for sparsity mask learning and performs sampling without replacement to select masks, thereby reducing trainable parameters from combinatorial complexity to $\mathcal{O}({M})$. As a result, RoI requires 1.5-8.75$\times$ fewer learnable parameters and significantly lower memory cost, while remaining fully aligned with hardware-friendly sparsity patterns. Extensive evaluations across multiple scales of the Qwen2.5 LLM family (0.5-7B parameters) demonstrate that RoI achieves competitive performance with strong memory efficiency, stability, and scalability to more aggressive $N$:$M$ sparsity patterns, offering a practical path toward efficient LLM deployment.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.23048v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.