JARQ: 양자화를 위한 결합 교차 개선 기법
JARQ: Joint Alternating Refinement for Quantization
대규모 언어 모델(LLM)을 위한 그룹별 사후 학습 양자화(quantization)기는 결과로 나오는 정수 코드에 재적합되지 않는 격자 위로 가중치를 반올림합니다. 본 논문에서는 이러한 방식이 정확도 손실을 남긴다는 점을 보입니다. 즉, 최적의 격자는 코드에 따라 달라지고, 입력 상관관계로 인해 서로 다른 그룹의 오차가 결합되며, 유용한 코드 변경은 종종 여러 코드를 한 번에 바꾸는 것과 관련됩니다. 우리는 임의의 그룹별 양자화기에서 출발하여 모든 그룹 스케일의 결합 최소제곱 적합과 현재 격자에서 한 그룹의 여러 코드를 함께 이동시키는 유계 바바이(Babai) 제안을 번갈아 수행하는 플러그인 개선 기법인 JARQ를 제안합니다. 이 문제는 이중선형 상자 제약 혼합 정수 최소제곱 문제이며, 솔버는 역전파(backpropagation)를 사용하지 않고 정확한 스케일 풀이 조건에서 층별 목적 함수를 증가시키지 않으며, 호스트의 비트 폭, 그룹, 제로 포인트 및 추론(inference) 비용을 유지합니다. RTN, GPTQ, OmniQuant, AWQ 호스트를 사용하는 Llama-2, Llama-3, Qwen 모델 전반에서 JARQ는 96개 비교 중 90개에서 퍼플렉서티(perplexity)를 낮추고, 3비트 RTN 퍼플렉서티를 최대 36%까지 줄이며, 24개 구성 중 23개에서 평균 객관식 정확도를 높이고, 7B 블록당 1분 미만의 시간으로 QEP, QuaRot, OJBKQ 출력을 개선합니다.