LC-QAT: Data-Efficient 2-Bit QAT for LLMs via Linear-Constrained Vector Quantization
LC-QAT는 스칼라 양자화(SQ) 기반 QAT의 성능 저하 문제와 벡터 양자화(VQ)의 불연속 코드북 탐색 문제를 동시에 해결하기 위해, 이산 4진수 벡터에 대한 학습 가능한 선형 매핑으로 가중치를 표현하는 2비트 VQ-QAT 프레임워크다. 이 방식은 고품질 PTQ 초기화와 완전 미분 가능한 엔드투엔드 최적화를 가능하게 하여, 기존 최첨단 QAT 방법을 훈련 데이터 0.1~10%만 사용하면서도 능가하는 성능을 다양한 대규모 언어 모델(LLM)에서 달성했다.