CoreQ: LLM 양자화를 위한 불일치 보정 순차 반올림
CoreQ: Mismatch-Corrected Successive Rounding for LLM Quantization
한국어 초록
사후 학습 양자화(PTQ)는 재학습 없이 사전 학습된 가중치를 저비트 형식으로 변환하여 대규모 언어 모델의 효율적인 배포를 가능하게 하며, 일반적으로 소규모 보정 데이터셋을 사용하여 계층별 보정 목적함수를 최소화한다. 그러나 이러한 순차적 절차는 불일치를 유발한다. 앞선 양자화된 계층의 오차가 이후 계층이 받는 입력을 변화시켜 활성화가 전정밀도 모델의 활성화에서 벗어나게 한다. 최근 접근법은 이 효과를 보상하기 위해 불일치 인식 보정 목적함수를 도입하지만, 관측된 불일치 중 얼마만큼을 각 계층의 보정 목표에 반영해야 하는지는 해결하지 못했다. 본 논문은 경험적 불일치 보정을 완전히 적용하면 유한한 보정 데이터에 과적합될 수 있고, 고정된 보정 계수를 사용하면 계층 간 불일치 추정치의 변동을 무시하게 됨을 보인다. 이러한 한계를 해결하기 위해 불일치의 기하학적 분해를 이용하여 닫힌 형태의 계층 적응형 보정 계수를 계산하는, 학습이 필요 없는 PTQ 프레임워크인 CoreQ를 제안한다. 이 계수는 관측된 불일치 중 얼마만큼이 각 계층의 보정 목표에 반영될지를 조절하여, 계수 튜닝 없이도 제한된 보정 데이터에 대한 과적합을 줄인다. 이후 CoreQ는 그 결과로 얻은 삼각 최소제곱 목적함수에 효율적인 탐욕적 순차 반올림을 적용한다. 제한된 빔 탐색으로 확장한 K-CoreQ는 소폭의 추가 연산을 대가로 성능을 향상시킨다. 여러 LLM 계열, 규모, 비트 폭, 양자화 설정 전반에서 CoreQ와 K-CoreQ는 강력한 PTQ 기준선보다 낮은 퍼플렉서티와 높은 하위 과제 정확도를 달성한다. 코드는 GitHub에서 확인할 수 있다.
원문 초록
Post-training quantization (PTQ) enables efficient deployment of large language models by mapping pretrained weights to low-bit formats without retraining, typically using a small calibration set to minimize a layer-wise calibration objective. However, this sequential procedure induces a mismatch: errors from earlier quantized layers alter the inputs received by later layers, causing the activations to deviate from those of the full-precision model. Recent approaches introduce mismatch-aware calibration objectives to compensate for this effect, but leave open how much of the observed mismatch should shift each layer's calibration target. We show that fully applying the empirical mismatch correction can overfit finite calibration data, while using a fixed correction coefficient ignores variation in mismatch estimates across layers. To address these limitations, we propose CoreQ, a learning-free PTQ framework that uses a geometric decomposition of the mismatch to compute a closed-form, layer-adaptive correction coefficient. This coefficient controls how much of the observed mismatch enters each layer's calibration target, reducing overfitting to limited calibration data without coefficient tuning. CoreQ then applies efficient greedy successive rounding to the resulting triangular least-squares objective. Its bounded beam-search extension, K-CoreQ, trades modest additional compute for improved performance. Across multiple LLM families, scales, bit-widths, and quantization settings, CoreQ and K-CoreQ achieve lower perplexity and higher downstream accuracy than strong PTQ baselines. Code is available at GitHub.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.05902v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.