8비트 가중치·활성화에서 FP8 품질 상한 유지: 소비자용 GPU를 위한 Ideogram 4.0의 INT8 및 GGUF 사후 학습 양자화
Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs
사후 학습 양자화는 대규모 텍스트-이미지 확산 트랜스포머를 소비자용 GPU에서 실행할 수 있게 해 주지만, 하드웨어별 트레이드오프는 직접 측정되는 경우가 드물다. 우리는 FP8 텐서 코어가 없는 Ampere RTX 3090 GPU용으로 Ideogram 4.0을 양자화한다. Ideogram 4.0은 9.3B flow-matching 확산 트랜스포머(DiT)로, classifier-free guidance를 위해 단일 스트림 34층 백본의 별도 가중치 사본 두 개로 배포되며 Qwen3-VL-8B 인코더로 조건화된다. 우리의 INT8 W8A8 레시피(채널별 가중치, 토큰별 동적 활성화, SmoothQuant, 소수의 고취약성 층 집합에 대한 혼합 정밀도 보호)는 FP8 품질 상한을 유지한다. 200-프롬프트 벤치마크에서 INT8-FP8에 대한 동일 시드 부트스트랩 CI는 Pick과 CLIP 모두에서 0을 포함하며, INT8은 NF4 대비 CLIP에서 +1.9 개선을 보인다(95% CI [+1.21, +2.64], 0 배제). 범주별 OCR 분석은 우리가 아는 한 이 모델 클래스에 대해 보고된 적이 없으며, 텍스트 가독성이 보존됨을 확인하고, ablation은 FFN down-projection 보호가 지배적 품질 레버임을 격리한다. 우리의 GGUF Q4_K 양자화는 동일한 디스크 크기에서 NF4를 능가하며 품질-메모리 프론티어에서 파레토 최적이며, 쌍체 신뢰구간이 0을 배제한다(Q8_0은 품질 중립). 마지막으로, 8비트 양자화가 어디서 도움이 되고 어디서 되지 않는지 특성화한다. INT8의 가중치는 축소하기보다 FP8의 footprint와 같으므로, Ampere에서의 속도 향상은 융합 INT8 커널을 기다려야 한다.