QTEA: 희소 잔차 핵심 가중치와 열 단위 최적화를 활용한 삼진(Ternary) LLM
QTEA: Ternary LLMs with Sparse Residual Salient Weight and By-Column Optimization
한국어 초록
가중치 전용 사후 학습 양자화(post-training quantization, PTQ)는 대규모 언어 모델(LLM)을 대규모로 서비스할 때의 연산 부담을 줄여 줄 수 있다. 그러나 기존 PTQ 방법은 모델 간 일반화에 실패하는 경우가 많으며, 2비트 미만에서는 심각한 정확도 손실을 겪는다. 많은 방법이 이러한 손실을 완화하기 위해 비정형 희소성(unstructured sparsity)을 활용하지만, 그 대가로 규칙성과 GPU 친화적인 실행을 잃게 된다. 본 논문은 가중치를 삼진(ternary) 값으로 양자화하고 핵심(salient) 가중치를 잔차 오차 보상기로 사용하는 2비트 미만 PTQ 프레임워크인 QTEA를 제안한다. 하드웨어 효율성을 유지하기 위해, 잔차는 핵심 열 내에서 반정형(semi-structured) 1:4 희소성을 갖는 선택된 열에 할당된다. 또한 GPTQ 방식의 열 단위(column-by-column) 양자화에 열 단위 스케일 재조정(column-wise rescale refinement)을 추가하여, 열별 스케일과 삼진 할당을 번갈아 갱신함으로써 재구성 오차를 줄인다. 아울러 GPTQ에서 순서에 의존하는 오차 전파를 확인하고, 후반 단계의 오차 누적을 완화하기 위해 오차 감쇠(error decay)를 도입한다. Qwen3-14B에서 QTEA는 모든 가중치를 유효 가중치당 1.7비트로 압축하면서, 가장 강력한 삼진 PTQ 기준선 대비 평균 정확도를 16.7% 향상시킨다. 또한 WikiText와 C4에서 각각 1.40배와 2.61배 낮은 퍼플렉시티를 달성한다. 이러한 경향은 Llama3-8B에서도 유지되어, QTEA는 동일한 데이터셋에서 6.6%의 정확도 향상과 1.34배/1.95배 낮은 퍼플렉시티를 얻는다. 마지막으로, 룩업 테이블 기반 커널을 개발하여 FP16 기준선 대비 토큰당 생성 속도를 7.2배 향상시켰다. 코드는 https://github.com/Intelligent-Microsystems-Lab/QTEA 에서 확인할 수 있다.
원문 초록
Weight-only post-training quantization (PTQ) can alleviate the computational burden of serving large language models (LLMs) at scale. However, existing PTQ methods often fail to generalize across models and suffer severe accuracy loss below 2 bits. Many leverage unstructured sparsity to mitigate this loss, but at the cost of regularity and GPU-friendly execution. We present QTEA, a sub-2-bit PTQ framework that quantizes weights into ternary values and uses salient weights as residual error compensators. To maintain hardware efficiency, residuals are assigned to selected columns with semi-structured \(1{:}4\) sparsity within the salient columns. We further add column-wise rescale refinement to GPTQ-style column-by-column quantization, alternately updating per-column scales and ternary assignments to reduce reconstruction error. We also identify order-dependent error propagation in GPTQ and introduce error decay to attenuate late-stage error accumulation. On Qwen3-14B, QTEA compresses all weights to an effective 1.7 bits per weight while improving average accuracy over the strongest ternary PTQ baseline by 16.7\%. It also achieves 1.40\(\times\) and 2.61\(\times\) lower perplexity on WikiText and C4 respectively. This trend holds on Llama3-8B, where QTEA obtains a 6.6\% accuracy gain and 1.34\(\times\)/1.95\(\times\) lower perplexity on the same datasets. Finally, we develop a lookup-table based kernel that achieves 7.2\(\times\) faster per-token generation over an FP16 baseline. Code is available at https://github.com/Intelligent-Microsystems-Lab/QTEA.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00224v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.