한국어 초록
가중치(weight), 활성화(activation), KV 캐시를 동시에 양자화(quantization)할 때 극단적인 저비트 대규모 언어 모델(LLM) 압축은 가장 까다로워집니다. 이들의 분포가 서로 다르고, 양자화 오차가 네트워크 전반에 걸쳐 상호작용하기 때문입니다. 본 논문에서는 소스 정규형화(canonicalization)와 태스크 인식 적응을 분리하여 이러한 문제를 해결하는 통합 양자화 인식 학습(QAT) 프레임워크인 CanonQ를 소개합니다. 고정된 회전 및 에너지 정규화(normalization)를 통해 서로 다른 텐서(tensor) 소스를 표준 좌표로 매핑함으로써, 고정된 가우시안 참조 코드북을 여러 레이어와 모델에 걸쳐 재사용할 수 있도록 합니다. 그런 다음 결합 학습을 통해 공통 스칼라/벡터 인터페이스 내에서 가중치, 활성화, 캐시 양자화의 결합된 오차에 네트워크를 적응시킵니다. 본 연구는 고정 코드북 전이 오차와 국소 태스크 손실(loss)의 한계를 유도하고, 양자화 왜곡을 그래디언트(gradient) 바이어스(bias)와 연결하는 정확한 정규화 인식 스트레이트-스루(straight-through) 야코비안(Jacobian)을 도출합니다. 가장 큰 성능 향상은 공동 W2A4KV2 압축에서 나타납니다. LLaMA3-1B/3B/8B 전반에서 CanonQ-Omni는 기존 SOTA 및 대표적인 양자화 기준선(baseline) 대비 최대 14.28배 낮은 WikiText-2 펄플렉서티(perplexity)와 최대 57.9% 높은 평균 제로샷(zero-shot) 정확도를 달성합니다. 이러한 이점은 Qwen3-1.7B, 코드 생성, 수학적 추론으로도 확장되어, W2A16KV16 설정의 인스트럭션 튜닝(instruction tuning)된 MobileLLM-Pro-1B에서 CanonQ는 가장 강력한 평가 대상 양자화 기준선 대비 HumanEval pass@1에서 41.7%, GSM8K 정확 일치(exact match)에서 39.1%의 상대적 향상을 달성합니다.
원문 초록
Extreme low-bit LLM compression is most challenging when weights, activations, and KV caches are quantized together: their distributions differ, and quantization errors interact throughout the network. We introduce CanonQ, a unified quantization-aware training framework that addresses these challenges by separating source canonicalization from task-aware adaptation. Fixed rotations and energy normalization map heterogeneous tensor sources to canonical coordinates, enabling frozen Gaussian-reference codebooks to be reused across layers and models. Joint training then adapts the network to the coupled errors of weight, activation, and cache quantization within a common scalar/vector interface. We bound frozen-codebook transfer error and local task loss, and derive an exact normalization-aware straight-through Jacobian that links quantization distortion to gradient bias. The strongest gains arise under joint W2A4KV2 compression: across LLaMA3-1B/3B/8B, CanonQ-Omni achieves up to 14.28x lower WikiText-2 perplexity and up to 57.9% higher mean zero-shot accuracy than prior state-of-the-art and representative quantization baselines. The benefits extend to Qwen3-1.7B, code generation, and mathematical reasoning: on instruction-tuned MobileLLM-Pro-1B at W2A16KV16, CanonQ achieves relative improvements of 41.7% in HumanEval pass@1 and 39.1% in GSM8K exact match over the strongest evaluated quantization baseline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.