arXiv:2611.21974v1 cs.IR

비트 폭을 넘어서: NVIDIA Blackwell에서 다국어 LLM 추론을 위한 배포 제약 혼합 정밀도 양자화

Beyond Bitwidth: Deployment-Constrained Mixed-Precision Quantization for Multilingual LLM Inference on NVIDIA Blackwell

Hyojung Han

제출 2026-11-18

한국어 초록

저비트 LLM 양자화는 모델이 서비스에 관련된 정확도를 보존하고, 지원되는 GPU 커널을 통해 실행되며, 측정된 메모리 및 지연 시간 한계를 충족할 때에만 유용하다. 본 연구는 vLLM을 사용하는 NVIDIA B200에서 INT2/INT3, GPTQ, NVFP4 및 혼합 정밀도 구성을 포함하여 Qwen3-8B를 연구한다. 144개의 융합 선형 모듈 전체에서 네이티브 패킹 실행과 정밀도를 검증하고, 사전 등록된 게이트 하에서 한국어, 영어, 수치 및 추론 품질을 평가한다. 패킹된 INT2와 INT3는 실행되지만, 시험한 일곱 개의 INT2 그리드는 모두 생성에서 퇴화한다. 개별 모듈 복원 효과는 강한 비가법성을 보이며, 한국어와 추론의 민감도 순위는 일치하지 않고, 유망했던 INT4/INT8 개발 후보는 독립적인 최종 평가에서 실패한다. 16비트 활성화, 98개의 NVFP4 가중치 전용 모듈, 46개의 INT8 모듈, INT8 출력 헤드로 구성된 설정은 손대지 않은 FINAL-81 세트(5,168개 항목)에서 모든 게이트를 통과하며, 가중치 로딩 메모리는 5.917 GiB(한계 5.98), 한국어 교사 정답 유지율은 0.904(게이트 0.90), BF16 대비 TPOT 비율은 0.939이다. 이 설정은 NVFP4 W4A4 대비 쌍체 정확도를 +1.4%p(Bonferroni 보정 구간 [+0.2, +2.6]) 향상시키며, 선택 세트에서는 +3.4%p이다. 이 비교는 활성화 정밀도와 INT8 보호를 모두 변경하며, 탐색적 분석은 활성화 변경이 상당히 기여함을 시사하나 할당 효과 자체의 분리된 효과는 입증되지 않았다. 최종 체크포인트는 보존되지 않았으며, 비트 단위 재빌드 재현성은 검증되지 않은 채로 남아 있다.

원문 초록

Low-bit LLM quantization is useful only if a model preserves service-relevant accuracy, executes through supported GPU kernels, and meets measured memory and latency limits. We study Qwen3-8B on NVIDIA B200 with vLLM, including INT2/INT3, GPTQ, NVFP4, and mixed-precision configurations. We verify native packed execution and precision on all 144 fused linear modules and evaluate Korean, English, numerical, and reasoning quality under preregistered gates. Packed INT2 and INT3 execute, but all seven tested INT2 grids degenerate on generation. Isolated module-restoration effects are strongly non-additive; Korean and reasoning sensitivity rankings disagree, and a promising INT4/INT8 development candidate fails independent final evaluation. A configuration with 16-bit activations, 98 NVFP4 weight-only modules, 46 INT8 modules, and an INT8 output head passes all gates on the untouched FINAL-81 set (5,168 items): 5.917 GiB of weight-loading memory (limit 5.98), Korean teacher-correct retention 0.904 (gate 0.90), and TPOT ratio 0.939 relative to BF16. It improves paired accuracy over NVFP4 W4A4 by +1.4 percentage points (Bonferroni-adjusted interval [+0.2, +2.6]), compared with +3.4 points on the selection set. This comparison changes both activation precision and INT8 protection; exploratory analyses suggest that the activation change contributes substantially, but the isolated allocation effect is not established. Final checkpoints were not retained, and bitwise rebuild reproducibility remains unverified.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21974v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.