3BASiL: LLM의 희소 플러스 저랭크 압축을 위한 알고리즘 프레임워크
3BASiL: An Algorithmic Framework for Sparse plus Low-Rank Compression of LLMs
대규모 언어 모델(LLM)의 희소 플러스 저랭크($\mathbf{S} + \mathbf{LR}$) 분해는 사전 학습된 모델 가중치를 희소 행렬과 저랭크(low-rank) 행렬의 합($\mathbf{W} \approx \mathbf{S} + \mathbf{LR}$)으로 분해하는 것을 목표로 하며, 모델 압축에서 유망한 방향으로 떠올랐습니다. 최근의 진전에도 불구하고, 기존 방법들은 조밀(dense) 모델에 비해 상당한 성능 저하를 겪는 경우가 많습니다. 본 연구에서는 이러한 격차를 해결하는 LLM의 $(\mathbf{S} + \mathbf{LR})$ 분해를 위한 효율적인 원샷(one-shot) 사후 학습 방법인 3BASiL-TM을 소개합니다. 우리의 접근 방식은 먼저 수렴이 보장되는 상태에서 층별 재구성 오차를 최소화하기 위해 3BASiL이라 명명된 새로운 3-블록 교차 방향 승수법(ADMM)을 도입합니다. 그런 다음 트랜스포머 층 전반에 걸쳐 희소 성분과 저랭크 성분을 공동으로 최적화하는 효율적인 트랜스포머 매칭(TM) 정제 단계를 설계합니다. 이 단계는 트랜스포머 수준에서 출력을 정렬하는 메모리 효율적인 새로운 손실을 최소화합니다. 특히, TM 절차는 순수 희소성을 포함하여 모든 $(\mathbf{S} + \mathbf{LR})$ 분해를 향상시킬 수 있어 범용적입니다. 수치 실험에 따르면, 3BASiL-TM은 (2:4 희소 + 64 저랭크) 구성에서 기존 방법과 비교하여 조밀 LLaMA-8B 모델 대비 WikiText2 퍼플렉시티 격차를 30% 이상 줄입니다. 또한, 본 연구의 방법은 SOTA $(\mathbf{S} + \mathbf{LR})$ 방법과 비교하여 A100 GPU에서 2.5배 이상 빠른 압축 런타임을 달성합니다. 코드는 https://github.com/mazumder-lab/3BASiL 에서 확인할 수 있습니다.