효율적인 LLM/VLM을 위한 활성화 정보 기반 파레토 유도 저순위 압축
Activation-Informed Pareto-Guided Low-Rank Compression for Efficient LLM/VLM
한국어 초록
대규모 언어 모델(LLM)과 비전-언어 모델(VLM)은 최고 수준의 성능을 달성했지만, 배포 시 상당한 메모리 및 연산 문제를 야기합니다. 본 논문에서는 이러한 문제를 해결하기 위한 새로운 저순위(low-rank) 압축 프레임워크를 제시합니다. 먼저, 층별(layer-wise) 활성화 기반 압축 오차를 통해 네트워크 손실의 변화에 대한 상한(upper bound)을 도출하여 기존 연구의 이론적 공백을 메웁니다. 그런 다음 저순위 모델 압축을 이중 목적 최적화(bi-objective optimization) 문제로 정식화하고, 단일한 균일 허용 오차(tolerance)를 통해 대리 파레토 최적(surrogate Pareto-optimal)의 이종 순위(heterogeneous ranks)를 얻을 수 있음을 증명합니다. 이러한 이론적 통찰을 바탕으로, 파레토 유도 순위 선택과 교대 최소제곱법(alternating least-squares) 구현을 통해 활성화 인지 압축을 개선하는 제로샷(zero-shot) 파이프라인인 PGSVD(Pareto-Guided Singular Value Decomposition)를 제안합니다. PGSVD를 LLM과 VLM 모두에 적용한 결과, 동일한 압축 수준에서 더 우수한 정확도와 추론 속도 향상을 입증했습니다.
원문 초록
Large language models (LLM) and vision-language models (VLM) have achieved state-of-the-art performance, but they impose significant memory and computing challenges in deployment. We present a novel low-rank compression framework to address this challenge. First, we upper bound the change of network loss via layer-wise activation-based compression errors, filling a theoretical gap in the literature. We then formulate low-rank model compression as a bi-objective optimization and prove that a single uniform tolerance yields surrogate Pareto-optimal heterogeneous ranks. Based on our theoretical insights, we propose Pareto-Guided Singular Value Decomposition (PGSVD), a zero-shot pipeline that improves activation-aware compression via Pareto-guided rank selection and alternating least-squares implementation. We apply PGSVD to both LLM and VLM, showing better accuracy at the same compression levels and inference speedup.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
CORE: KV 캐시를 위한 커버리지 캘리브레이션 및 제거 질량 재분배
CORE: COverage CAlibration and Evicted-Mass REdistribution for KV Cache
긴 문맥(long-context) 디코딩은 키-값(KV) 캐시 메모리와 대역폭에 의해 점점 더 제한받고 있습니다. 기존의 고정 예산 압축 방법들은 대개 보존과 보상을 분리하는 반면, 보존 순위 지정 방식은 버려지는 어텐션(attention) 질량이나 유도된 출력 오차의 방향을 명시하지 못합니다. 본 연구는 정확한 분해로부터 출발합니다. 즉, 제거 오차는 제거된 어텐션 질량과 제거된 중심점(centroid) 및 보존된 출력 간의 방향 차이의 곱과 같으며, 이는 보존에서의 집합 수준 커버리지와 질량 보존 메모리 기록의 중요성을 강조합니다. 본 논문에서는 쿼리 효용성과 로그 행렬식 커버리지를 결합한 오프라인 할당을 경량 캐시 인식 인덱서로 증류하는 KV 캐시용 커버리지 캘리브레이션 및 제거 질량 재분배 기법인 CORE(COverage CAlibration and Evicted-Mass REdistribution for KV Cache)를 소개합니다. 추론(inference) 시 단 하나의 캘리브레이션된 분포가 두 경로를 모두 구동합니다. 이 분포의 상위 $B$개(Top-$B$) 순서는 상호보완적인 KV 상태들을 보존하는 한편, 제외된 할당 질량과 조건부 가중치(weight)는 별도의 기록 가중치 예측기나 온라인 로그 행렬식 계산 없이도 잠재 메모리 기록을 매개변수화합니다. 본 분석은 4개 항으로 구성된 사전 보상 오차 보증을 제공하고, 비가산적 커버리지 상호작용을 특성화하며, 순환 및 쿼리 적응형 정규화(normalization)를 통해 계층적 한계를 지닌 질량 독립적 기록 안정성을 확립합니다. 3가지 백본 전반에 걸쳐 CORE는 90% 압축률에서 가장 강력한 RULER 기준선(baseline) 대비 최대 3.78점 앞섰으며, LongBench 및 반복 제거 평가를 통해서도 강력한 유효성과 디코딩 효율성을 추가로 입증합니다.
iS-KV: 블록 증분 SVD를 통한 온라인 저역삼/저차원 KV 캐시 압축
iS-KV: Online Low-Rank KV Cache Compression via Block-Incremental SVD
긴 사고의 연쇄(Chain-of-Thought) 추론은 자기회귀 디코딩(autoregressive decoding) 과정에서 KV 캐시 메모리를 크게 증가시킵니다. 생성되는 모든 토큰이 새로운 키 및 값 상태를 도입하여 캐시가 디코딩 길이에 따라 선형적으로 증가하기 때문입니다. 기존의 KV 캐시 압축 방식은 일반적으로 토큰 축출(token eviction)을 통해 이러한 증가를 억제하지만, 비가역적인 삭제는 이후 추론 과정에서 다시 참조해야 할 과거 상태를 제거할 수 있습니다. SVD 기반 저차원(low-rank) 압축은 보다 조밀한 표현을 통해 모든 위치를 보존함으로써 대안을 제공합니다. 그러나 이를 고정된 프롬프트 캐시에서 온라인 디코딩으로 확장하는 것은 간단하지 않습니다. 본 연구의 조사를 통해, 새로운 토큰에 맞춰 기저(basis)를 업데이트하는 반면 이전 토큰들이 과거 기저에서의 좌표를 유지할 경우 저장된 히스토리가 크게 표류(drift)한다는 점을 발견했습니다. 이러한 관찰을 바탕으로, 긴 호흡의 추론을 위한 온라인 저차원 KV 캐시 압축 기법인 iS-KV를 제안합니다. iS-KV는 최근 윈도우는 정확하게 유지하면서 오래된 상태들을 유계 랭크(bounded-rank) 표현으로 점진적으로 접어 넣습니다. 또한 저차원 기저가 발전함에 따라 과거 좌표를 업데이트된 기저와 동기화하여 표현 일관성을 유지합니다. DeepSeek-R1-Distill-Llama-8B에서 iS-KV는 영구 KV를 4.06배 압축하면서도 원본 모델의 83.6%에 근접한 82.6%의 정확도를 달성했습니다. Qwen3-8B에서는 5.64배 압축에서 89.2%의 정확도를 달성했습니다. 동일한 메모리 예산 조건에서 iS-KV는 토큰 축출 기반의 베이스라인 모델들을 일관되게 능가합니다.
TopK-Guided: 효율적인 LLM 추론을 위한 적응형 예산 인식 활성화 희소성
TopK-Guided: Adaptive, Budget-Aware Activation Sparsity for Efficient LLM Inference
활성화 희소성(activation sparsity)은 중요하지 않은 활성화를 0으로 설정하여 해당 연산을 건너뛸 수 있도록 함으로써 대규모 언어 모델(LLM) 추론을 가속화합니다. 그러나 기존의 학습 불필요(training-free) 방식들은 서로 다른 트레이드오프를 가집니다. TEAL과 같은 임계값 기반 방식은 토큰별로 희소성 수준을 적응시키지만 실제 실현되는 희소성을 엄밀하게 제어하지 못하는 반면, WINA와 같은 TopK 기반 방식은 고정된 희소성 수준을 강제하지만 모든 토큰에 대해 동일한 희소성 예산을 사용합니다. 또한 두 방식 모두 트랜스포머 블록 간의 민감도 차이가 큼에도 불구하고 모든 블록에 걸쳐 동일한 예산을 적용합니다. 본 논문에서는 경계가 지정된 토큰 수준의 희소성 적응과 민감도 인식 블록 수준 예산 할당을 결합하여 두 가지 한계를 모두 해결하는 학습 불필요 방식인 TopK-Guided를 소개합니다. Llama-2 및 Llama-3 모델 전반에서 TopK-Guided는 WINA와 실질적으로 동일한 희소성 의존적 투영 연산량을 유지하면서도 TEAL 및 WINA 대비 펄플렉서티(perplexity)와 다운스트림 정확도를 일관되게 향상시키며, 특히 높은 희소성에서 가장 큰 성능 향상을 보입니다. 제거 연구(ablation study)를 통해 두 구성 요소가 상호 보완적인 개선을 제공함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.