arXiv:2610.09202v1 cs.AI

소수의 비트, 단 하나의 법칙: W2A4KV2를 향하여

Few Bits, One Law: Toward W2A4KV2

Kai Yi, Tarek Elgamal, Sruthikesh Surineni, Vignesh Vivekraja, Soumyadeep Ghosh, Steven Li

제출 2026-10-06

한국어 초록

가중치(weight), 활성화(activation), KV 캐시를 동시에 양자화(quantization)할 때 극단적인 저비트 대규모 언어 모델(LLM) 압축은 가장 까다로워집니다. 이들의 분포가 서로 다르고, 양자화 오차가 네트워크 전반에 걸쳐 상호작용하기 때문입니다. 본 논문에서는 소스 정규형화(canonicalization)와 태스크 인식 적응을 분리하여 이러한 문제를 해결하는 통합 양자화 인식 학습(QAT) 프레임워크인 CanonQ를 소개합니다. 고정된 회전 및 에너지 정규화(normalization)를 통해 서로 다른 텐서(tensor) 소스를 표준 좌표로 매핑함으로써, 고정된 가우시안 참조 코드북을 여러 레이어와 모델에 걸쳐 재사용할 수 있도록 합니다. 그런 다음 결합 학습을 통해 공통 스칼라/벡터 인터페이스 내에서 가중치, 활성화, 캐시 양자화의 결합된 오차에 네트워크를 적응시킵니다. 본 연구는 고정 코드북 전이 오차와 국소 태스크 손실(loss)의 한계를 유도하고, 양자화 왜곡을 그래디언트(gradient) 바이어스(bias)와 연결하는 정확한 정규화 인식 스트레이트-스루(straight-through) 야코비안(Jacobian)을 도출합니다. 가장 큰 성능 향상은 공동 W2A4KV2 압축에서 나타납니다. LLaMA3-1B/3B/8B 전반에서 CanonQ-Omni는 기존 SOTA 및 대표적인 양자화 기준선(baseline) 대비 최대 14.28배 낮은 WikiText-2 펄플렉서티(perplexity)와 최대 57.9% 높은 평균 제로샷(zero-shot) 정확도를 달성합니다. 이러한 이점은 Qwen3-1.7B, 코드 생성, 수학적 추론으로도 확장되어, W2A16KV16 설정의 인스트럭션 튜닝(instruction tuning)된 MobileLLM-Pro-1B에서 CanonQ는 가장 강력한 평가 대상 양자화 기준선 대비 HumanEval pass@1에서 41.7%, GSM8K 정확 일치(exact match)에서 39.1%의 상대적 향상을 달성합니다.

원문 초록

Extreme low-bit LLM compression is most challenging when weights, activations, and KV caches are quantized together: their distributions differ, and quantization errors interact throughout the network. We introduce CanonQ, a unified quantization-aware training framework that addresses these challenges by separating source canonicalization from task-aware adaptation. Fixed rotations and energy normalization map heterogeneous tensor sources to canonical coordinates, enabling frozen Gaussian-reference codebooks to be reused across layers and models. Joint training then adapts the network to the coupled errors of weight, activation, and cache quantization within a common scalar/vector interface. We bound frozen-codebook transfer error and local task loss, and derive an exact normalization-aware straight-through Jacobian that links quantization distortion to gradient bias. The strongest gains arise under joint W2A4KV2 compression: across LLaMA3-1B/3B/8B, CanonQ-Omni achieves up to 14.28x lower WikiText-2 perplexity and up to 57.9% higher mean zero-shot accuracy than prior state-of-the-art and representative quantization baselines. The benefits extend to Qwen3-1.7B, code generation, and mathematical reasoning: on instruction-tuned MobileLLM-Pro-1B at W2A16KV16, CanonQ achieves relative improvements of 41.7% in HumanEval pass@1 and 39.1% in GSM8K exact match over the strongest evaluated quantization baseline.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.09202v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.