PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.13966v2cs.LG

QUASAR: 손실 인지 재구성을 통한 양자화 인지 학습의 손실 하한 낮추기

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction

대규모 언어 모델의 추론이 더 낮은 정밀도로 전환됨에 따라 사후 학습 양자화(PTQ)는 점점 더 취약해지고 있으며, 모델 품질을 보존하기 위해 양자화 인지 학습(QAT)이 필수적이 되었습니다. 그러나 QAT에는 구조적 불일치가 존재합니다. 그래디언트 업데이트는 잠재된 전정밀도 가중치에 적용되는 반면, 손실과 그래디언트는 해당 가중치의 손실성 재구성 값에서 계산됩니다. 이러한 불일치는 차선의 학습 경로와 더 높은 손실 하한(loss floor)으로 이어질 수 있습니다. 2차 PTQ 방식들은 손실 인지 재구성 오차를 최소화하여 유사한 문제를 해결하지만, 가중치가 계속 변화하는 QAT 도중에 이처럼 비용이 큰 재구성을 반복적으로 적용하는 것은 비실용적입니다. 본 논문에서는 경량의 손실 인지 재구성을 학습 루프에 도입한 QAT 방식인 QUASAR를 제안합니다. 매 학습 단계마다 QUASAR는 작은 클리핑 범위 집합을 탐색하고 중요도 가중 최소제곱법을 통해 역양자화 매개변수를 적합함으로써 잠재 가중치를 재구성합니다. 이때 파라미터별 중요도 신호로는 그래디언트 제곱의 지수 이동 평균을 사용합니다. 이론적 분석 결과, QUASAR의 재구성 목적식을 최적화하면 QAT의 수렴 한계와 최종 손실 한계가 모두 엄밀해짐을 보여줍니다. 4가지 모델 계열과 INT4, INT3, INT2 및 NVFP4 양자화 포맷 전반에 걸쳐 QUASAR를 평가했습니다. QUASAR는 경쟁 QAT 방식들보다 지속적으로 더 낮은 학습 및 평가 손실을 달성하며, 다운스트림 벤치마크에서 기존 QAT 및 PTQ 기준선을 능가합니다. INT2에서 QUASAR는 양자화 인지 지식 증류를 적용했을 때 최고 QAT 기준선 대비 평균 정확도를 13.3점 향상시켰고, 수학적 추론 데이터에 대한 QAT에서는 10.9점 향상시켰습니다. 특히 약 6억 개의 토큰만을 대상으로 증류한 후에도 QUASAR의 INT4 Gemma-4 E4B 체크포인트는 Google이 공개한 해당 QAT 체크포인트를 능가하여, KL 발산은 66% 더 낮추고 평균 정확도는 1.8점 더 높은 성과를 거두었습니다.

arXiv:2609.26708v1cs.LG

양자화 모델이 실제로 향하는 곳에서 학습하기: 저비트 추론을 위한 온-정책 지식 증류

Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning

양자화 인지 지식 증류(QAD)는 3비트 미만 양자화로 잃은 단답형 질의응답 성능의 상당 부분을 되살리지만, 수학 및 코드 추론은 여전히 크게 손상된 상태로 남는다. 긴 생성은 종종 반복 루프로 퇴화하여 디코딩 예산을 다 쓰고도 해를 끝내지 못한다. 우리는 이 격차의 원인을 양자화로 증폭된 노출 바이어스(exposure bias)로 추적한다. QAD는 고정된 코퍼스 접두(prefix)에서 학습하는 반면, 양자화로 인한 편차는 모델 자체의 자기회귀(autoregressive) 궤적을 따라 누적되기 때문이다. 이 불일치를 해소하기 위해, 양자화된 모델이 실제로 도달하는 지점에 교사 감독을 두는 온-정책 지식 증류(OPD) 단계를 도입한다. QAD 체크포인트에서 출발한 학생은 배포 시 사용하는 양자화 순전파 경로를 통해 생성하고, 자신의 접두에 대해 동결된 전정밀(full-precision) 교사의 피드백을 받으며, 밀집 토큰 수준 지도와 task-verifier 보상을 결합한다. 2.79 및 1.88 effective bits에서 네 가지 모델에 걸친 실험에서 OPD는 MATH-500에서 평균 BF16 성능 유지율을 35%에서 70%로, HumanEval에서는 66%에서 91%로 끌어올리면서 단답형 성능은 유지했고, 동일 예산 비교에서 teacher-forced QAD를 이어가는 경우보다 추론 이득이 실질적으로 더 컸다. QAD의 안정적인 저비트 초기화와 OPD의 온-정책 추론 복구를 결합함으로써, 본 프레임워크는 광범위한 역량을 유지하면서 장형 추론을 되살리는 포괄적인 3비트 미만 솔루션을 제공한다.

arXiv:2607.14630v1cs.NE

대규모 언어 모델의 극저비트 양자화를 위한 층 간 오차 보상 및 유한 표본 특징 통계 매칭

Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models

층별 사후 학습 양자화는 각 층의 재구성 오차를 독립적으로 최소화하므로, 양자화 오차가 깊이에 걸쳐 누적되어 극저비트 영역에서 심각한 성능 저하를 초래한다. 우리는 양자화를 모든 층의 이산 코드와 스케일에 대한 공동 최적화로 공식화하며, 두 가지 메커니즘으로 구동한다: (i) 층 간 오차 보상으로, 층의 입력 미분에서 유도된 전파 연산자 A_l과 교사 특징에서 평가된 국소 양자화 잔차 q_l을 통해 재귀 e_{l+1} = A_l e_l + q_l로 네트워크 수준의 누적 오차를 유지한다; (ii) 유한 표본 특징 통계 매칭으로, 상대 정규화 하에서 전체 정밀도 네트워크와 양자화 네트워크 간의 평균, 투영 공분산, 중심화된 경험적 커널을 정렬한다. 양자화 네트워크의 유한 차분으로 전파 연산자를 구현하면 임의의 비선형 층에 대해 재귀가 정확해짐을 증명하며, 이를 통해 효율적인 순방향 차분 구현이 가능하다. 이진 가중치는 역온도 annealing과 그룹별 log 스케일을 갖춘 미러 하강 매개변화 u = tanh(beta*z)를 통해 최적화한다. Qwen2.5-1.5B에서 1.125-bit 그룹 이진 가중치로, 오차 보상만으로 FP16 교사 대비 perplexity 비율 9.56 +/- 0.15에 도달하며, 로짓 증류(14.09 +/- 0.53; 상대 32%, 3개 시드에서 8 시그마 이상)와 층-국소 재구성보다 두 차수만큼 우수하다. 동일한 목적 함수는 변경 없이 4-bit 양자화에도 전이되며(층-국소 대비 1.060 vs. 1.088). 도메인 외 평가(C4, CNN/DailyMail)에서 오차 보상의 이점은 도메인 외에서 더 커지는 반면, 통계 매칭은 도메인 외에서도 특징 통계 불일치를 낮게 유지한다(해당 없을 때 1.41-2.99 대비 0.42-0.88), 두 메커니즘 간 상호 보완적 역할 분담을 보여준다.