arXiv:2609.24875v1 cs.CV

SPHQuant: 비전-언어 모델을 위한 효율적인 극저비트 가중치 양자화

SPHQuant: Efficient extreme low bit weight quantization for Vision-Language Models

Kewei Zhang, Zheng Chen, Haotong Qin, Yulun Zhang

제출 2026-09-22

한국어 초록

최근 파운데이션 모델은 네이티브 멀티모달 비전-언어 모델(VLM)로 나아가고 있으며, 이에 따라 VLM은 차세대 파운데이션 모델의 핵심 형태로 자리잡고 있습니다. 그러나 거대한 언어 백본으로 인한 높은 메모리 사용량과 메모리 바운드(memory-bound) 자기회귀 디코딩 특성 때문에 엣지 배포에 어려움이 따릅니다. 가중치 전용(weight-only) 사후 학습 양자화가 실용적인 해결책이지만, VLM을 극저비트 폭으로 낮추는 것은 여전히 까다롭습니다. 기존의 회전 없는(rotation-free) 방식은 2-3비트에서 이상치(outlier) 문제로 성능 저하를 겪으며, 회전 기반(rotation-based) 방식은 추가적인 런타임 오버헤드를 대가로 정확도를 향상시킵니다. 본 논문에서는 VLM을 위한 회전 없는 구면 가중치 전용 양자화 프레임워크인 SPHQuant를 제안합니다. SPHQuant는 가중치를 데카르트 좌표계(Cartesian coordinates)에서 직접 양자화하는 대신, 각 8차원 가중치 벡터를 좌표 부호, 반지름, 그리고 양의 단위 방향으로 분해합니다. 이러한 표현 방식은 이상치의 크기를 반지름으로 격리하는 동시에 방향 성분을 유계(bounded)이자 통계적으로 규칙적인 상태로 유지합니다. 이러한 통찰을 바탕으로 SPHQuant는 반지름에 추가적인 정밀도를 할당하여 이상치로 인한 정확도 저하를 완화합니다. 나아가 컴팩트한 양의 방향 코드북을 활용하고, 단위 구 제약조건을 보존하기 위해 각도 매개변수화(angular parameterization)를 통해 코드북 항목을 파인튜닝합니다. 또한 방향 코드북을 공유 메모리 조회에 충분히 작게 유지하고 방사형(radial) 비트를 효율적으로 패킹하는 하드웨어 친화적 GEMV 커널을 설계합니다. 실험 결과에 따르면, SPHQuant는 최첨단 극저비트 양자화 방법들과 대등한 성능을 달성하는 동시에 RTX A6000에서 QTIP 대비 디코드 처리량을 30.3% 향상시키는 것으로 나타났습니다. 코드는 https://github.com/Pushazf/SPHQuant 에 공개될 예정입니다.

원문 초록

Recent foundation models are moving toward native multimodal Vision-Language Models (VLMs), making VLMs a central form of next-generation foundation models. However, their large language backbones make edge deployment difficult due to high memory footprint and memory-bound autoregressive decoding. Weight-only post-training quantization is a practical solution, but pushing VLMs to extreme low bit-widths remains challenging: existing rotation-free methods suffer from outliers at 2-3 bits, while rotation-based methods improve accuracy at the cost of additional runtime overhead. We propose SPHQuant, a rotation-free spherical weight-only quantization framework for VLMs. Instead of quantizing weights directly in Cartesian coordinates, SPHQuant decomposes each 8D weight vector into coordinate signs, radius, and a positive unit direction. This representation isolates outlier magnitude into the radius while keeping directions bounded and statistically regular. Based on this insight, SPHQuant allocates extra precision to the radius to mitigate accuracy degradation induced by outliers. It further uses a compact positive-direction codebook and fine-tunes codebook entries through angular parameterization to preserve the unit-sphere constraint. We also design a hardware-friendly GEMV kernel that keeps the direction codebook small enough for shared-memory lookup and packs radial bits efficiently. Experiments show that SPHQuant matches the performance of state-of-the-art extreme low-bit quantization methods while improving decode throughput over QTIP by 30.3% on RTX A6000. Code will be released in https://github.com/Pushazf/SPHQuant.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24875v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28262v1cs.CV공통 태그 Quantization, Computational Efficiency, Edge-computing, Model Compression

RAMP: 엣지 CPU 비전 모델을 위한 강건한 적응형 혼합 정밀도 양자화

RAMP: Robust Adaptive Mixed-Precision Quantization for Edge CPU Vision Models

엣지 CPU에 심층 학습 모델을 배포할 때는 계산 및 메모리 제약이 병목이 된다. 혼합 정밀도 양자화는 정확도를 유지하면서 추론 지연을 줄일 수 있다고 기대된다. 그러나 양자화는 층 유형마다 서로 다르게 영향을 미치므로, 정확도 손실이 최소화되고 지연 감소가 최대화되는 위치를 찾는 것이 중요하며, 그 효과는 전체 배포에 걸쳐 누적되어 상당한 이득 또는 허용 불가능한 과제 성능 저하로 이어진다. 이러한 식별은 민감도 지표, 즉 모든 후보 정책의 과제 정확도를 평가하지 않고 층별 열화를 추정하는 대리 지표에 의존한다. 그럼에도 널리 쓰이는 지표는 최신 아키텍처에서 체계적으로 실패한다. 우리는 서로 뚜렷이 다른 네 개의 신경망에 걸친 층별 INT8 양자화에 대한 13개 민감도 지표의 체계적 실증 연구를 제시하고, 그로부터 얻은 정책을 두 ARM64 플랫폼에서 검증한다. 그래디언트 기반 민감도 방법은 8개 모델-하드웨어 구성 중 4개에서 실패하고, 가중치 기반 통계는 2개에서 실패한다. 반면 Jensen-Shannon Divergence는 치명적 실패가 전혀 없으며, 안전하게 양자화할 수 없는 층을 안정적으로 분리한다. 민감도 지표만으로는 정책이 정의되지 않으며, 그 단계에 흔히 쓰이는 고정 임계값은 최신 아키텍처의 고도로 치우친 분포에서 취약하다. 우리는 K-Means 클러스터링으로 이를 해결하여 거의 무손실 정확도와 전체 정밀도 모델 대비 평균 $1.81\times$ 속도 향상을 달성한다. 마지막으로, 민감도와 관계없이 속도 향상이 미미한 층을 양자화에서 제외하는 것이 역효과를 낼 수 있음을 밝힌다. 이는 계산 그래프 단편화를 유발하고 연산자 융합(operator fusion)을 비활성화하기 때문이다. 우리 결과는 GPU 접근이나 그래디언트 계산 없이 이질적 엣지 CPU에 양자화된 비전 모델을 배포하는 실무자와 연구자에게 구체적인 할당 정책을 제공한다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Edge-computing, Model Compression

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15781v1cs.LG공통 태그 Computational Efficiency, Edge-computing, Model Compression

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2610.13858v1cs.CV공통 태그 Computational Efficiency, Model Compression, vision-language models

LapMerge: 선형 시간 내 미분 가능한 정확한 예산 기반 토큰 병합

LapMerge: Differentiable Exact-Budget Token Merging in Linear Time

현대 비전 및 언어 모델은 점차 더 긴 토큰 시퀀스를 처리하며, 이를 줄이는 것이 다운스트림 비용을 절감하는 핵심 수단입니다. 그러나 토큰 압축은 근본적인 트레이드오프에 직면해 있습니다. 즉, 토큰을 선택하는 방식은 정보를 폐기하는 반면, 기존 병합 방식은 토큰 간 쌍별(pairwise) 매칭이나 $MN$ 토큰-출력 상호작용을 통해서만 정보를 보존합니다. 본 논문에서는 정렬된 시퀀스에 대해 이러한 트레이드오프를 해결하는 미분 가능한 병합 연산자인 LapMerge를 소개합니다. 이는 학습된 질량 분포가 라플라스 커널(Laplace-kernel) 밀도 하에서 시퀀스를 정확히 $N$개의 동일한 질량 세그먼트로 분할하고, 접두 문맥/접미 스캔이 각 세그먼트를 집계함으로써 순전파와 역전파 모두 $\mathcal{O}(M+N)$ 시간에 실행되도록 합니다. 이러한 정확한 출력 예산(exact output budget), 엔드투엔드 미분 가능성, 선형 비용의 결합은 이전 감축 기법들이 서로 상충하며 포기해야 했던 요소들입니다. 연산자 파라미터를 변경하지 않고도 예산을 변경할 수 있으며, 학습된 질량은 예산이 할당된 위치를 나타내는 토큰 수준 맵의 역할도 겸합니다. 비전 및 비전-언어(vision-language) 작업 전반에서 LapMerge는 강력한 토큰 감축 기법들과 대등하거나 그 이상의 성능을 보이면서도 시퀀스 길이가 길어질 때 최대 두 자릿수(up to two orders of magnitude) 더 빠릅니다. 특히 토큰 순서가 공간적 또는 시간적 국소성을 반영할 때 효과적이며, 드롭인 감축 모듈이자 학습 가능한 아키텍처 구성 요소로서 모두 작동합니다.

arXiv:2610.10630v1cs.LG공통 태그 Quantization, Computational Efficiency, Model Compression

Phase-HDC: 이산 위상 학습에서 옵티마이저 히스토리를 그래디언트 임계값으로 대체하기

Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning

컴팩트한 모델을 학습(training)할 때는 종종 모델 저장보다 훨씬 더 많은 메모리가 필요한데, 이는 옵티마이저(optimizer)가 과거 그래디언트(gradient)의 자체 기록을 유지하기 때문입니다. 학습된 매개변수(parameter)가 저비트 각도인 초차원 분류기(hyperdimensional classifier)의 경우(이를 위상 메모리(\emph{phase memory})라 부름), 이러한 기록은 모델 자체보다 몇 배 더 많은 메모리를 차지합니다. 본 연구에서는 오직 모델 자체만을 저장하면서도 이러한 모델을 학습시킬 수 있는지 질문을 던집니다. 제안하는 방법인 Phase-HDC는 현재 그래디언트의 부호와 반대 방향으로, 그리고 해당 그래디언트가 충분히 클 때에만 업데이트당 저장된 각도를 최대 한 단계씩 회전시킵니다. 우리는 이 단순한 규칙이 변경된 모든 매개변수가 고정 비용을 지불하는 1차 손실(loss) 모델의 정확한 해임을 보여줍니다. 업데이트 규칙을 제외한 모든 조건을 동일하게 유지했을 때, Phase-HDC는 6비트 모멘텀을 사용하는 Adam과 동등한 정확도를 유지하면서도 3배 적은 저장 공간을 사용합니다. 11개의 이미지, 테이블형, 텍스트 데이터셋에 걸쳐, 이 방법은 표준 float32 Adam보다 16~23배, 8비트 Adam보다 4~6배 적은 저장 공간을 차지합니다. 이에 따른 대가는 float32 Adam 대비 평균 약 5%p의 정확도 손실이지만, Phase-HDC는 8비트 Adam이 붕괴하는 바이트 수준 텍스트 예측을 포함하여 11개 데이터셋 중 6개에서 8비트 Adam보다 더 높은 정확도를 달성합니다. 계측된 학습 실행 분석은 이러한 결과를 설명해 줍니다. 매개변수가 이산적인 그리드 상에 위치해야 하는 경우, Adam의 모멘텀은 주로 매개변수가 조금이라도 움직일지 여부만을 결정하게 되며, 이는 현재 그래디언트에 대한 임계값을 통해 메모리 없이도 내릴 수 있는 결정입니다. 또한 모멘텀의 거친 양자화(quantization)는 데이터에 드물게 포함된 입력에 대해 이러한 결정을 망가뜨립니다. 저장 공간 절감은 측정된 하드웨어 메모리가 아닌 논리적 상태 기준입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.