양자화 모델이 실제로 향하는 곳에서 학습하기: 저비트 추론을 위한 온-정책 지식 증류
Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning
양자화 인지 지식 증류(QAD)는 3비트 미만 양자화로 잃은 단답형 질의응답 성능의 상당 부분을 되살리지만, 수학 및 코드 추론은 여전히 크게 손상된 상태로 남는다. 긴 생성은 종종 반복 루프로 퇴화하여 디코딩 예산을 다 쓰고도 해를 끝내지 못한다. 우리는 이 격차의 원인을 양자화로 증폭된 노출 바이어스(exposure bias)로 추적한다. QAD는 고정된 코퍼스 접두(prefix)에서 학습하는 반면, 양자화로 인한 편차는 모델 자체의 자기회귀(autoregressive) 궤적을 따라 누적되기 때문이다. 이 불일치를 해소하기 위해, 양자화된 모델이 실제로 도달하는 지점에 교사 감독을 두는 온-정책 지식 증류(OPD) 단계를 도입한다. QAD 체크포인트에서 출발한 학생은 배포 시 사용하는 양자화 순전파 경로를 통해 생성하고, 자신의 접두에 대해 동결된 전정밀(full-precision) 교사의 피드백을 받으며, 밀집 토큰 수준 지도와 task-verifier 보상을 결합한다. 2.79 및 1.88 effective bits에서 네 가지 모델에 걸친 실험에서 OPD는 MATH-500에서 평균 BF16 성능 유지율을 35%에서 70%로, HumanEval에서는 66%에서 91%로 끌어올리면서 단답형 성능은 유지했고, 동일 예산 비교에서 teacher-forced QAD를 이어가는 경우보다 추론 이득이 실질적으로 더 컸다. QAD의 안정적인 저비트 초기화와 OPD의 온-정책 추론 복구를 결합함으로써, 본 프레임워크는 광범위한 역량을 유지하면서 장형 추론을 되살리는 포괄적인 3비트 미만 솔루션을 제공한다.