QDA: 에이전트를 활용한 폐루프 LLM 양자화 설계
QDA: Closed-Loop LLM Quantization Design with Agents
한국어 초록
사후 학습 양자화는 대규모 언어 모델을 저비용으로 서비스하는 표준적인 방법이다. 그러나 최적의 양자화 레시피는 모델과 정밀도에 따라 다르다. 그 결과 전문가는 새로운 모델마다 이를 다시 설계해야 하며, 이는 시간이 많이 들고 최적이 아닌 경우가 많다. 다행히 LLM 에이전트는 후보를 구성하고 평가하는 과정을 여러 라운드에 걸쳐 반복하며 레시피를 개선함으로써 이 설계를 대신할 수 있고, 라운드가 많을수록 더 나은 레시피로 이어진다. 그러나 양자화된 추론 모델 하나를 평가하는 데는 수십 GPU 시간이 걸리며, 서로 다른 코드베이스의 방법을 결합하려면 각각을 새 아키텍처에 수작업으로 이식해야 한다. 본 논문은 에이전트가 모델과 정밀도별로 레시피를 설계하는 시스템 QDA를 제시한다. 평가를 빠르게 하기 위해 QDA는 에이전트가 보지 못하는 추론 궤적에서 원본 모델과의 출력 KL 발산으로 각 후보를 수 분 내에 채점하고, 유망한 후보는 긴 생성으로 점검하여 반복 루프와 같은 실패를 잡아낸다. 구성을 빠르게 하기 위해 QDA는 서로 호환되고 새로운 모델 아키텍처와도 호환되는 공개 PTQ 방법의 라이브러리를 제공한다. 네 가지 추론 모델에서 QDA는 탐색당 64 GPU 시간을 사용하여, 가장 강력한 공개 레시피 대비 정확도를 W4A16, W4A8, W3A16에서 평균 각각 0.9, 1.4, 2.2 퍼센트포인트 향상시킨다. 320B 파라미터 MoE 모델 GLM-5.3-Flash의 NVFP4 W4A4에서는 최고의 벤더 체크포인트가 96.9%를 보이는 데 비해, FP8 모델 정확도의 98.3%를 회복한다. 또한 모든 QDA 체크포인트는 추론 오버헤드 없이 기존 서빙 커널에서 실행된다. 라이브러리, 평가기, 하네스를 공개할 예정이다.
원문 초록
Post-training quantization is the standard way to serve large language models at low cost. However, the best quantization recipe differs across models and precisions. As a result, experts must redesign it for every new model, which is time-consuming and often sub-optimal. Fortunately, an LLM agent can take over this design by refining the recipe over rounds of building and evaluating candidates, so that more rounds lead to better recipes. However, evaluating one quantized reasoning model takes tens of GPU-hours, and combining methods from different codebases means porting each to the new architecture by hand. We present QDA, a system in which an agent designs the recipe for each model and precision. To make evaluation fast, QDA scores each candidate in minutes by its output KL divergence from the original model on reasoning traces that the agent never sees, and checks promising ones with long generations to catch failures such as repetition loops. To make building fast, QDA provides a library of public PTQ methods that are compatible with one another and with new model architectures. Across four reasoning models, QDA improves accuracy over the strongest public recipe by 0.9, 1.4 and 2.2 percentage points on average at W4A16, W4A8 and W3A16, using 64 GPU-hours per search. On the 320B-parameter MoE model GLM-5.3-Flash at NVFP4 W4A4, it recovers 98.3% of the FP8 model's accuracy, against 96.9% for the best vendor checkpoint. Every QDA checkpoint also runs on existing serving kernels with no inference overhead. We will release the library, the evaluator and the harness.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23388v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.