중요도 저수지: 미분 가능한 부분집합 샘플링을 통한 반구조화 희소성 학습
Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling
반구조화(semi-structured) $N$:$M$ 희소성은 대규모 언어 모델(LLM)을 가속화하기 위한 실용적인 방향으로 부상했습니다. 그러나 기존의 학습 가능한 마스크 접근 방식은 상당한 매개변수 및 메모리 오버헤드를 유발하여 대규모 모델 및 공격적인 희소성 체제로의 확장성을 제한합니다. 본 연구에서는 효율성과 확장성을 조화시키는 관점에서 반구조화 가지치기를 재검토합니다. 우리는 미분 가능한 부분집합 샘플링을 통해 희소성 마스크를 학습하는 경량 반구조화 가지치기 프레임워크인 중요도 저수지(Reservoir of Importance, RoI)를 제안합니다. 실현 가능한 모든 $N$:$M$ 패턴에 대한 전체 범주형 분포를 모델링하는 기존 방법과 달리, RoI는 희소성 마스크 학습을 위한 콤팩트 로짓 매개변수화를 도입하고 마스크 선택을 위해 비복원 추출(sampling without replacement)을 수행함으로써 학습 가능한 매개변수를 조합 복잡도에서 $\mathcal{O}({M})$으로 줄입니다. 그 결과, RoI는 하드웨어 친화적인 희소성 패턴과 완벽하게 일치하면서도 1.5-8.75배 더 적은 학습 가능한 매개변수와 현저히 낮은 메모리 비용만을 필요로 합니다. Qwen2.5 LLM 패밀리(0.5-7B 매개변수)의 다양한 규모에 걸친 광범위한 평가는 RoI가 강력한 메모리 효율성, 안정성 및 더 공격적인 $N$:$M$ 희소성 패턴에 대한 확장성과 함께 경쟁력 있는 성능을 달성함을 입증하여, 효율적인 LLM 배포를 위한 실용적인 경로를 제공합니다.