JARQ: 양자화를 위한 결합 교차 개선 기법
JARQ: Joint Alternating Refinement for Quantization
한국어 초록
대규모 언어 모델(LLM)을 위한 그룹별 사후 학습 양자화(quantization)기는 결과로 나오는 정수 코드에 재적합되지 않는 격자 위로 가중치를 반올림합니다. 본 논문에서는 이러한 방식이 정확도 손실을 남긴다는 점을 보입니다. 즉, 최적의 격자는 코드에 따라 달라지고, 입력 상관관계로 인해 서로 다른 그룹의 오차가 결합되며, 유용한 코드 변경은 종종 여러 코드를 한 번에 바꾸는 것과 관련됩니다. 우리는 임의의 그룹별 양자화기에서 출발하여 모든 그룹 스케일의 결합 최소제곱 적합과 현재 격자에서 한 그룹의 여러 코드를 함께 이동시키는 유계 바바이(Babai) 제안을 번갈아 수행하는 플러그인 개선 기법인 JARQ를 제안합니다. 이 문제는 이중선형 상자 제약 혼합 정수 최소제곱 문제이며, 솔버는 역전파(backpropagation)를 사용하지 않고 정확한 스케일 풀이 조건에서 층별 목적 함수를 증가시키지 않으며, 호스트의 비트 폭, 그룹, 제로 포인트 및 추론(inference) 비용을 유지합니다. RTN, GPTQ, OmniQuant, AWQ 호스트를 사용하는 Llama-2, Llama-3, Qwen 모델 전반에서 JARQ는 96개 비교 중 90개에서 퍼플렉서티(perplexity)를 낮추고, 3비트 RTN 퍼플렉서티를 최대 36%까지 줄이며, 24개 구성 중 23개에서 평균 객관식 정확도를 높이고, 7B 블록당 1분 미만의 시간으로 QEP, QuaRot, OJBKQ 출력을 개선합니다.
원문 초록
Group-wise post-training quantizers for large language models round weights onto a grid that is not refit to the resulting integer codes. We show that this leaves accuracy on the table: the best grid depends on the codes, input correlations couple the errors of different groups, and useful code changes often involve many codes at once. We propose JARQ , a plug-in refinement that starts from any group-wise quantizer and alternates a joint least-squares fit of all group scales with bounded Babai proposals that move many codes of a group together on the current grid. The problem is a bilinear box-constrained mixed-integer least-squares problem; the solver is backpropagation-free, does not increase the layer-wise objective under exact scale solves, and keeps the host's bit width, groups, zero points, and inference cost. Across Llama-2, Llama-3, and Qwen models with RTN, GPTQ, OmniQuant, and AWQ hosts, JARQ lowers perplexity in 90 of 96 comparisons, cuts three-bit RTN perplexity by up to 36%, raises mean multiple-choice accuracy in 23 of 24 configurations, and improves QEP, QuaRot, and OJBKQ outputs, at under a minute per 7B block.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DualQuant: LLM을 위한 이중 스케일 캘리브레이션 프리 가중치 및 활성화 양자화
DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
네이티브 4비트를 지원하는 가속기에서 저비트 추론(inference)을 수행할 때 해당 포맷이 제공하는 전체 처리량 향상을 온전히 달성하려면 가중치(weight)와 활성화(activation)를 모두 양자화해야 합니다. 사후 학습(post-training) 가중치 양자화는 광범위하게 연구되어 왔지만, 활성화 양자화는 여전히 훨씬 더 까다로우며 일반적으로 캘리브레이션 데이터를 필요로 합니다. 본 연구에서는 가중치 재구성 평균 제곱 오차(MSE)를 직접 최소화하고, 그 직접적인 부산물로서 활성화 양자화에 앞서 채널별 활성화 재스케일링을 생성하는 이중 스케일(dual-scale) 캘리브레이션 프리 사후 학습 양자화 프레임워크인 DUALQUANT를 소개합니다. 우리의 핵심 관찰은 가중치 재구성 오차를 최소화하여 얻은 스케일링 팩터가 효과적인 활성화 재스케일링을 제공하여, 캘리브레이션 데이터 없이도 경쟁력 있는 활성화 양자화를 가능하게 한다는 점입니다. 우리는 DUALQUANT를 미분 불가능한 가중치 재구성 문제로 공식화하고, 각 하위 문제가 닫힌 형식의 해(closed-form update)를 갖는 변수 분할(variable splitting) 및 블록 좌표 강하법(block coordinate descent) 기반의 효율적인 솔버를 개발했습니다. DUALQUANT는 전체 MX 패밀리와 NVFP4를 포함한 광범위한 포맷을 지원하는 통합 알고리즘을 제공합니다. 우리가 아는 한, DUALQUANT는 MX 및 NV 블록 포맷을 공식적으로 지원하는 최초의 이중 스케일링 기법입니다. WikiText-2, C4 및 제로샷(zero-shot) 다운스트림 태스크에서 평가된 Llama 및 Qwen 모델 전반에 걸쳐, DUALQUANT는 대부분의 모델 및 포맷에서 캘리브레이션 기반 SmoothQuant의 정확도에 필적하거나 이를 능가하며, 캘리브레이션 프리 베이스라인들을 크게 능가하고 MX 및 NV 블록 포맷에 대해 큰 폭의 향상을 달성했습니다. 우리는 RTX 4090 환경에서 Llama-3.1-8B에 대한 실제 패킹된 W4A4 추론 경로를 통해 이러한 성능 향상을 검증했습니다. 그 결과 구현체는 가상 양자화(fake quantization)의 정확도와 거의 일치하면서도 BF16 대비 최대 2.61배의 메모리 절감과 최대 2.46배의 처리량 속도 향상을 제공합니다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
CHASE-VLA: 청크 인식 스케일 추정을 적용한 비전-언어-행동 모델용 사후 학습 양자화 프레임워크
CHASE-VLA: Post-Training Quantization Framework for Vision-Language-Action Models with Chunk-Aware Scale Estimation
비전-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관측과 언어 지시문을 연속적인 로봇 동작에 매핑하지만, 확산(diffusion) 기반 동작 전문가(Action Expert, AE)는 저비트 사후 학습 양자화(PTQ)에서 핵심적인 난제를 제기합니다. AE는 노이즈 제거(denoising) 단계 및 정책 질의에 걸쳐 반복적으로 호출되는데, 고정된 캘리브레이션 스케일은 노이즈 제거 진행 상황 및 의도된 모션에 따라 변하는 활성화 범위와 불일치할 수 있습니다. 본 논문에서는 정책에서 손쉽게 얻을 수 있는 VLA 고유의 신호인 생성된 동작 청크(실행되지 않은 미래 접미사 포함)를 활용하는 청크 인식 PTQ 방법인 CHASE-VLA를 제안합니다. CHASE-VLA는 AE 레이어에 대한 정적 스케일 매칭에만 의존하는 대신, 이전에 생성된 청크를 인과적 동작 컨텍스트로 노이즈 제거 단계 그룹 정보와 결합하여 AE 활성화 스케일을 적응시킵니다. 이를 통해 사전학습된 정책을 수정하지 않고도 반복 호출되는 AE의 MLP 및 어텐션 프로젝션 모두에 대해 W4A4 양자화를 가능하게 합니다. LIBERO에서 CHASE-VLA는 AE의 MLP 및 어텐션 프로젝션이 모두 W4A4로 양자화되었을 때 $π_{0.5}$에서 97.3%의 평균 성공률을 달성하여 FP16 수준의 성능을 복원합니다. 또한 CHASE-VLA는 양자화된 AE 선형 레이어의 가중치 저장 공간을 73.4% 줄이고, 절약된 저장 공간의 최대 1.26%에 불과한 예측기 오버헤드만으로 $π_{0.5}$ 및 GR00T N1.6에서 단일 청크 메모리 트래픽을 각각 70.9%와 71.2% 감소시킵니다.
VisionMX: 비전 모델을 위한 마이크로스케일링 사후 학습 양자화 구현
VisionMX: Unlocking Microscaling Post-Training Quantization for Vision Models
마이크로스케일링(Microscaling, MX) 포맷은 효율적인 학습(training) 및 추론(inference)을 위한 하드웨어 지원 접근법으로 주목받고 있습니다. 이 방식은 저정밀도(low-precision) 요소와 공유 블록 스케일을 결합하지만, 비전 모델에 미치는 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 다양한 비전 모델 및 작업 전반에 걸쳐 사후 학습(post-training) MX 양자화(quantization)를 체계적으로 조사합니다. 직접 변환에 대한 분석을 통해 세 가지 오차 원인을 확인했습니다. 즉, 블록 스케일 표현, 일부 소형 합성곱 가중치(weight) 텐서와 비균일 요소 그리드 간의 불량한 정렬, 그리고 비음수 활성화 값에 의한 부호 있는 코드의 불충분한 활용입니다. 이러한 발견을 바탕으로, 유계 가중치 반올림(bounded weight rounding)을 최적화하고 활성화 값에 접을 수 있는 아핀 보정(foldable affine correction)을 적용하는 사후 학습 MX 양자화 방법인 VisionMX를 제안합니다. 여러 MX 스타일 포맷을 사용하여 이미지 분류(image classification), 객체 검출(object detection), 시맨틱 분할(semantic segmentation), 저조도 이미지 향상 작업 전반에서 VisionMX를 평가했습니다. VisionMX는 직접 변환 및 평가된 사후 학습 양자화 기준 모델들을 개선하며, MX 변환에 가장 민감한 아키텍처에서 가장 큰 폭의 성능 복구를 달성합니다.
QATFactory: LLM의 양자화 인식 학습 및 증류를 위한 다목적 배포 정렬 프레임워크
QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs
대규모 언어 모델(LLM) 추론은 하드웨어 가속기의 처리량을 최대한 활용하기 위해 점차 저정밀도로 전환되고 있으나, 공격적인 사후 학습 양자화(PTQ)는 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 배포 환경에 정렬된 양자화 인식 증류(QAD) 및 강화학습(QARL)을 위한 오픈소스 프레임워크인 QATFactory를 제시합니다. QATFactory는 BF16으로 행렬 곱셈을 수행하면서 배포 시점의 양자화를 시뮬레이션하므로, 목표 포맷을 네이티브로 지원하는 학습 하드웨어 없이도 모델이 양자화 노이즈에 적응할 수 있도록 합니다. 예를 들어 FP4 텐서 코어가 없는 H100 GPU에서도 NVFP4 학습을 지원합니다. 이 프레임워크는 NVFP4, MXFP4, 그리고 $\text{llama}.\text{cpp}$의 Q4_K 포맷을 지원하며, 밀집(dense) 및 전문가 혼합(MoE) 모델과 전체 매개변수 및 LoRA 기반 학습을 모두 지원합니다. 또한 추가적인 손실 변환 단계나 추론 오버헤드 없이 체크포인트를 vLLM 및 $\text{llama}.\text{cpp}$로 직접 내보냅니다. QATFactory를 활용하여 8B부터 230B 매개변수에 이르는 모델을 대상으로 광범위한 실험을 수행하고 프로덕션 추론 엔진에서 내보낸 체크포인트를 평가했습니다. 다양한 모델과 포맷 전반에서 QAD는 강력한 PTQ 베이스라인 대비 배포된 모델의 품질을 일관되게 향상시킵니다. Qwen3.5-9B의 경우, QAD는 NVFP4 환경에서 68.9%, MXFP4 환경에서 66.0%의 평균 벤치마크 정확도를 달성하여 가장 우수한 PTQ 결과인 각각 65.4%와 56.4%를 능가했습니다. 실험을 통해 두 FP4 포맷 모두 배포 시 가중치와 활성화를 양자화함에도 불구하고 최적의 학습 전략은 포맷에 따라 다르다는 점을 발견했습니다. NVFP4는 학습 중 가중치만 양자화할 때 전반적으로 더 나은 성능을 보이는 반면, MXFP4는 가중치와 활성화를 모두 양자화할 때 이점을 얻습니다. 고정된 학습 토큰 예산에서, 더 많은 4K 시퀀스로 학습하는 것보다 더 적은 수의 32K 시퀀스로 학습할 때 평균 정확도가 1.9%포인트 향상됩니다.
분류기 없는 유도를 활용한 디퓨전 활성화 양자화를 위한 결합 브랜치 공간 변환 부호화
Joint Branch-Space Transform Coding for Diffusion Activation Quantization with Classifier-Free Guidance
디퓨전 모델을 위한 사후 학습 양자화(PTQ)는 타임스텝, 특징(feature) 및 층(layer) 구조를 점점 더 적극적으로 활용하고 있습니다. 최근 연구에서 디퓨전 양자화에 분류기 없는 유도(CFG) 구조를 통합하기 시작했으나, 활성화(activation) 양자화는 여전히 조건부 및 무조건부 좌표에 걸쳐 독립적으로 작동하여 교차 활성화 구조를 활용하지 못하고 있습니다. 본 연구에서는 매칭된 CFG 활성화가 강하게 상관된 2차원 소스를 형성하며, 고정된 비트 예산 하에서 브랜치 부호화 기저의 선택이 양자화 충실도에 실질적인 영향을 미침을 보여줍니다. 이러한 관찰에 착안하여, 오프라인에서 유도된 2x2 직교 행렬을 통해 매칭된 CFG 브랜치를 회전시켜 모델 파라미터나 양자화 파이프라인의 수정을 최소화하는 브랜치 공간 변환 부호화(branch-space transform coding)를 소개합니다. 나아가 CFG 유도 방향과 브랜치 간 2차 모멘트를 결합하여 반영하는 유도-상관 브랜치 변환(GCBT)을 도출합니다. 동일 비율 양자화 노이즈 대리 지표 하에서 GCBT는 그래디언트(gradient) 최적화나 각도 탐색 없이 층별 닫힌 형태 해(closed-form solution)를 제공합니다. 기존 디퓨전 PTQ 방법론 위에 적용했을 때, GCBT는 기반이 되는 호스트 양자화 파이프라인을 변경하지 않으면서도 통계적으로 유의미한 성능 저하 없이 대부분의 평가 비교에서 통계적으로 유의미한 충실도 향상을 달성합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.