대규모 언어 모델의 추론이 더 낮은 정밀도로 전환됨에 따라 사후 학습 양자화(PTQ)는 점점 더 취약해지고 있으며, 모델 품질을 보존하기 위해 양자화 인지 학습(QAT)이 필수적이 되었습니다. 그러나 QAT에는 구조적 불일치가 존재합니다. 그래디언트 업데이트는 잠재된 전정밀도 가중치에 적용되는 반면, 손실과 그래디언트는 해당 가중치의 손실성 재구성 값에서 계산됩니다. 이러한 불일치는 차선의 학습 경로와 더 높은 손실 하한(loss floor)으로 이어질 수 있습니다. 2차 PTQ 방식들은 손실 인지 재구성 오차를 최소화하여 유사한 문제를 해결하지만, 가중치가 계속 변화하는 QAT 도중에 이처럼 비용이 큰 재구성을 반복적으로 적용하는 것은 비실용적입니다. 본 논문에서는 경량의 손실 인지 재구성을 학습 루프에 도입한 QAT 방식인 QUASAR를 제안합니다. 매 학습 단계마다 QUASAR는 작은 클리핑 범위 집합을 탐색하고 중요도 가중 최소제곱법을 통해 역양자화 매개변수를 적합함으로써 잠재 가중치를 재구성합니다. 이때 파라미터별 중요도 신호로는 그래디언트 제곱의 지수 이동 평균을 사용합니다. 이론적 분석 결과, QUASAR의 재구성 목적식을 최적화하면 QAT의 수렴 한계와 최종 손실 한계가 모두 엄밀해짐을 보여줍니다. 4가지 모델 계열과 INT4, INT3, INT2 및 NVFP4 양자화 포맷 전반에 걸쳐 QUASAR를 평가했습니다. QUASAR는 경쟁 QAT 방식들보다 지속적으로 더 낮은 학습 및 평가 손실을 달성하며, 다운스트림 벤치마크에서 기존 QAT 및 PTQ 기준선을 능가합니다. INT2에서 QUASAR는 양자화 인지 지식 증류를 적용했을 때 최고 QAT 기준선 대비 평균 정확도를 13.3점 향상시켰고, 수학적 추론 데이터에 대한 QAT에서는 10.9점 향상시켰습니다. 특히 약 6억 개의 토큰만을 대상으로 증류한 후에도 QUASAR의 INT4 Gemma-4 E4B 체크포인트는 Google이 공개한 해당 QAT 체크포인트를 능가하여, KL 발산은 66% 더 낮추고 평균 정확도는 1.8점 더 높은 성과를 거두었습니다.
대규모 언어 모델(LLM) 추론은 하드웨어 가속기의 처리량을 최대한 활용하기 위해 점차 저정밀도로 전환되고 있으나, 공격적인 사후 학습 양자화(PTQ)는 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 배포 환경에 정렬된 양자화 인식 증류(QAD) 및 강화학습(QARL)을 위한 오픈소스 프레임워크인 QATFactory를 제시합니다. QATFactory는 BF16으로 행렬 곱셈을 수행하면서 배포 시점의 양자화를 시뮬레이션하므로, 목표 포맷을 네이티브로 지원하는 학습 하드웨어 없이도 모델이 양자화 노이즈에 적응할 수 있도록 합니다. 예를 들어 FP4 텐서 코어가 없는 H100 GPU에서도 NVFP4 학습을 지원합니다. 이 프레임워크는 NVFP4, MXFP4, 그리고 $\text{llama}.\text{cpp}$의 Q4_K 포맷을 지원하며, 밀집(dense) 및 전문가 혼합(MoE) 모델과 전체 매개변수 및 LoRA 기반 학습을 모두 지원합니다. 또한 추가적인 손실 변환 단계나 추론 오버헤드 없이 체크포인트를 vLLM 및 $\text{llama}.\text{cpp}$로 직접 내보냅니다. QATFactory를 활용하여 8B부터 230B 매개변수에 이르는 모델을 대상으로 광범위한 실험을 수행하고 프로덕션 추론 엔진에서 내보낸 체크포인트를 평가했습니다. 다양한 모델과 포맷 전반에서 QAD는 강력한 PTQ 베이스라인 대비 배포된 모델의 품질을 일관되게 향상시킵니다. Qwen3.5-9B의 경우, QAD는 NVFP4 환경에서 68.9%, MXFP4 환경에서 66.0%의 평균 벤치마크 정확도를 달성하여 가장 우수한 PTQ 결과인 각각 65.4%와 56.4%를 능가했습니다. 실험을 통해 두 FP4 포맷 모두 배포 시 가중치와 활성화를 양자화함에도 불구하고 최적의 학습 전략은 포맷에 따라 다르다는 점을 발견했습니다. NVFP4는 학습 중 가중치만 양자화할 때 전반적으로 더 나은 성능을 보이는 반면, MXFP4는 가중치와 활성화를 모두 양자화할 때 이점을 얻습니다. 고정된 학습 토큰 예산에서, 더 많은 4K 시퀀스로 학습하는 것보다 더 적은 수의 32K 시퀀스로 학습할 때 평균 정확도가 1.9%포인트 향상됩니다.
LC-QAT는 스칼라 양자화(SQ) 기반 QAT의 성능 저하 문제와 벡터 양자화(VQ)의 불연속 코드북 탐색 문제를 동시에 해결하기 위해, 이산 4진수 벡터에 대한 학습 가능한 선형 매핑으로 가중치를 표현하는 2비트 VQ-QAT 프레임워크다. 이 방식은 고품질 PTQ 초기화와 완전 미분 가능한 엔드투엔드 최적화를 가능하게 하여, 기존 최첨단 QAT 방법을 훈련 데이터 0.1~10%만 사용하면서도 능가하는 성능을 다양한 대규모 언어 모델(LLM)에서 달성했다.
비전-언어 모델(VLM)은 강력한 멀티모달 성능을 달성하지만 배포 비용이 크며, 사후 학습 양자화는 종종 상당한 정확도 손실을 유발한다. 잠재력에도 불구하고 VLM에 대한 양자화 인식 학습(quantization-aware training, QAT)은 아직 충분히 탐구되지 않았다. 우리는 정보 병목(Information Bottleneck) 원리 아래 지식 증류와 QAT를 통합하는 프레임워크인 GRACE를 제안한다. 양자화는 정보 용량을 제한하고, 지식 증류는 이 예산 내에서 무엇을 보존할지를 안내한다. 교사 모델을 과제 관련 정보의 대리(proxy)로 간주하여, 신뢰도 게이트 분리형 지식 증류(confidence-gated decoupled distillation)로 신뢰할 수 없는 지도 신호를 걸러내고, 관계 중심 커널 정렬(relational centered kernel alignment)로 시각 토큰 구조를 전달하며, 라그랑주 완화(Lagrangian relaxation)를 통한 적응형 제어기로 충실도와 용량 제약 간 균형을 맞춘다. LLaVA 및 Qwen 계열에 대한 광범위한 벤치마크에서, 우리의 INT4 모델은 FP16 기준선을 일관되게 능가한다(예: SQA에서 LLaVA-1.5-7B 70.1 vs. 66.8; MMBench에서 Qwen2-VL-2B 76.9 vs. 72.6). 교사 모델 성능에 거의 근접한다. 실제 INT4 커널을 사용하면 처리량 3배와 메모리 54% 절감을 달성한다. 이 원칙 기반 프레임워크는 기존 양자화 방법을 크게 능가하며, GRACE는 자원 제약 환경에서의 배포를 위한 설득력 있는 해결책이 된다. 코드와 데이터는 https://github.com/ForeverBlue816/GRACE 에서 이용할 수 있다.
신경망 양자화는 완전 정밀도(FP) 모델의 성능을 최대한 충실하게 보존하는 파라미터의 이산 표현을 찾는 것을 목표로 한다. 이산 제약을 강제하면 파라미터가 잘 최적화된 최솟값에서 벗어나게 되어 일반적으로 성능 저하가 발생한다. 최근 연구에 따르면, 저손실 FP 해(solution)는 고립되어 있지 않고 손실 경관(loss landscape)의 연결된 저손실 부분공간에 속하며, 이 부분공간에서 손실은 거의 동일한 최솟값을 유지한다. 이 부분공간에서 샘플링된 모델들은 다양하면서도 높은 정확도를 유지한다. 이는 다음과 같은 질문을 제기한다: 양자화된 모델이 FP 모델의 저손실 부분공간 내에 위치하도록 구성하여 성능을 자동으로 보존할 수 있는가? 우리는 손실을 최소화하도록 최적화된 가중치 공간 내의 양자화 인식(quantization-aware) 선형 경로를 학습함으로써 이 질문에 답한다. 결과적으로 생성된 부분공간의 중간점이 설계상 양자화에 친화적이며, 이를 직접 양자화하면 양자화 인식 학습(quantization-aware training)에 필적하는 성능이 달성됨을 입증한다. 제안된 절차는 가중치 양자화에 대한 새로운 관점을 제시하며, 기존 방법들과 달리 직통 추정기(straight-through estimator)에 의존하지 않고 학습 중 명시적인 이산화(discretization)도 포함하지 않는다.