As Large Language Models (LLMs) deploy into mission-critical domains (e.g., finance, medicine, and law), output reproducibility has become a strict system requirement. While practitioners use greedy decoding to eliminate algorithmic stochasticity, empirical deployments with 16-bit precisions still exhibit catastrophic output divergence across heterogeneous GPUs. Through SASS-level profiling, we reveal that this inconsistency is fundamentally driven by truncation errors introduced during downcasting at kernel boundaries. However, achieving reproducibility via a global FP32 pipeline incurs prohibitive system penalties: bypassing 16-bit hardware accelerators hurts compute efficiency, while upcasting the KV cache doubles memory overhead. To bridge this gap, we propose Hybrid Error ALleviation (HEAL), a targeted intervention that approximates FP32 precision while resolving hardware constraints through two targeted mechanisms. First, recognizing that floating-point formats underutilize their bit-width for Q, K, V tensors, HEAL applies INT16 quantization that preserves numerical stability without expanding the KV cache footprint. Second, HEAL synthesizes high-precision matrix multiplications via an algebraic error compensation strategy, executing entirely on high-throughput 16-bit Tensor Cores. To evaluate our approach practically, we introduce MCR-Bench, a benchmark targeting reproducibility in mission-critical tasks. HEAL achieves the same level of reproducibility on downstream tasks as the FP32 baseline while reducing the performance overhead by up to 6.0$\times$.
혼합 정밀도 양자화는 모델의 어떤 부분을 더 높은 정밀도로 유지할지 결정해야 한다. HAWQ 및 CoopQ와 같은 민감도 기반 방법들이 공유하는 일반적인 전제는, 층 집합을 양자화할 때 발생하는 손실이 고립된 상태에서 측정된 층별 또는 쌍별 민감도로부터 재구성될 수 있다는 것이다. 우리는 현재 배포되고 있는 4비트 가중치-활성화 정밀도에서 이 전제를 검증하며, 층 집합 $S$를 양자화할 때의 손실 변화 $f(S)$를 불리언 큐브 상의 집합 함수로 취급하고 두 가지 고전적인 기저 변환을 통해 분석한다. 이 분석은 두 가지 결과를 도출한다. 첫째, 배포 분포에서 추출한 구성들에 걸쳐 $f$의 분산의 85--93%가 오직 층별 효과만으로 설명된다. 둘째, 층별 항들의 합에 대한 단조 변환이 $f$의 구성 순위를 재현하며, 최대 2%의 쌍만 잘못 순서를 매긴다. 우리는 커버리지 모델 $f(S)=c\bigl(1-\prod_{i\in S}(1-a_i)\bigr)$을 제안하며, 이 모델은 $L$개의 적합된 break-rate로부터 $f$의 측정된 분산 프로파일을 몇 퍼센트 이내로 재현한다. 이 구조는 각각 $L+1$개의 파라미터를 갖는, 구성의 손실에 대한 두 가지 예측기를 뒷받침한다. 가산 모델은 최적의 1차 예측기이다. Parseval 항등식에 의해 그 평균제곱오차는 층별 효과로 설명되지 않은 $f$의 분산과 같으며, 우리는 이를 전체 격자에서 측정하고 전체 네트워크 규모에서 표본 외로 추정하며, 모든 결과와 함께 어떤 가산 모델이 얼마나 잘 수행할 수 있는지에 대한 인증으로 보고한다. 커버리지 모델 자체가 두 번째 예측기이다. 동일한 메모리에서 할당기로 사용할 때, 이들은 30B부터 355B 파라미터 모델에서 비교된 할당기들 중 가장 낮은 KL 발산을 달성한다. 4비트 미만에서, 이로 인한 할당은 그래디언트 민감도로부터의 할당이 더 이상 종료되는 생성을 만들어내지 못하는 예산에서도 코드 및 추론 과제를 계속 해결한다.
기존 사후 학습 양자화(PTQ) 방법들이 CFG 확산 모델을 단일 브랜치로 취급하여 가이던스 격차만 보정할 경우, 비조건부 브랜치가 임의로 표류해 샘플 품질을 심각하게 저하시키는 "브랜치 드리프트 함정(branch-drift trap)"이 발생함을 수학적으로 증명하고 실험으로 확인한다. 이를 해결하기 위해 제안된 Guidance-Aware Mixed Precision(GAMP)은 가이던스된 예측을 직접 보정 목표로 삼고, 레이어별 활성화 비트 민감도를 탐욕적 배낭 알고리즘으로 할당하여 구조적으로 브랜치 드리프트를 방지한다.
트랜스포머 추론의 혼합정밀도 연산에 대해 조건수와 순방향 오차 상한을 유도하고, 대규모 아웃라이어 영역에서 LayerNorm과 RMSNorm, 어텐션 싱크(attention sinks)가 있는 softmax, self-attention의 수치적 안정성을 비교·정량화한다. GPT-2 실험으로 확인한 바와 같이 추론의 수치적 안정성은 가중치 크기와 잔차 스트림(residual stream) 성장의 상호작용에 좌우되며, 잔차 투영 가중치 스케일링은 잔차 동역학의 질적 전환을 일으키지 않는 한 상대 반올림 오차 전파를 유지한다.
분산 확률적 경사하강법(SGD)은 각 반복(iteration)마다 프로세스 간 AllReduce가 필요하므로 연산보다는 통신에 의해 제한됩니다. 통신 회피 SGD(CA-SGD)는 $s$개의 연속된 AllReduce를 $sb\times sb$ 그람 행렬에 대한 단일 AllReduce로 대체하여 $s$번의 반복에 걸쳐 통신 비용을 분산시키며, 더 적은 동기화 지점을 위해 더 많은 연산과 대역폭을 사용하는 방식으로 작동합니다. 행렬 하드웨어와 낮은 정밀도 형식을 갖춘 최신 GPU는 그람 GEMM(일반 행렬-행렬 곱셈)을 가속화하고 BF16 트래픽을 줄임으로써 이러한 비용을 상쇄합니다. 본 연구에서는 NVIDIA GPU에서 일반화 선형 모델을 위한 혼합 정밀도 CA-SGD를 다룹니다. 우리의 유한 정밀도 분석은 하나의 CA-SGD 외부 반복에 대한 지역 반올림 오차를 9개의 독립적인 정밀도 선택 사항으로 분해하며, 하드웨어 의존성이 낮은 정밀도의 단위 반올림(unit roundoff)으로만 제한되므로, 결과적인 전략은 원칙적으로 GPU 세대 간에 전이 가능합니다. 해당 방식은 입력 행렬과 마진(margin) 벡터를 낮은 정밀도로 저장하고, 높은 정밀도 누적을 사용하여 낮은 정밀도 입력에서 그람 행렬을 계산하며, 이를 높은 정밀도로 통신한 후 높은 정밀도로 내부 재귀 및 가중치 업데이트를 수행합니다. NERSC Perlmutter A100 GPU에서 혼합 정밀도 CA-SGD는 로지스틱, 선형 및 포아송 문제에서 FP32 SGD의 손실(loss)과 $0.5\%$ 이내로 일치하며, epsilon, SUSY, HIGGS, synth, Poisson-synth 데이터셋에서 FP32 SGD 대비 $5.1$--$6.8\times$의 속도 향상을 달성했습니다. 우리의 소프트웨어는 https://doi.org/10.5281/zenodo.20448273에서 확인할 수 있습니다.
잔차 스트림의 동역학으로 인해 발생하는 활성화 양자화 붕괴를 완화하기 위해, 민감한 레이어를 식별하여 8비트 정밀도를 적용하는 동적 혼합 정밀도 양자화 방법인 DynamicPTQ를 제안한다. LLaMA-2 및 LLaMA-3 실험에서 W4A4KV4 설정 하에 퍼플렉서티와 제로샷 QA 성능을 개선하며 처리량을 향상시켰다.
기존 HPC 교리는 네이티브 하드웨어 FP64 실리콘이 과학 컴퓨팅의 환원 불가능한 기반이며—이중 정밀도 시뮬레이션의 '성배'라고 본다. 이 논문은 그 교리가 틀렸다고 주장한다. B300 세대 및 이후의 AI 최적화 GPU에서는 풍부한 FP8 텐서 처리량과 중국 나머지 정리(Chinese Remainder Theorem) 기반 Ozaki Scheme II를 결합하면, 표준 HPC 커널 스펙트럼 전반에서 완전한 FP64 정밀도로 메모리 roofline 실행을 회복한다. NVIDIA Blackwell Ultra(B300)는 네이티브 FP64를 ~1.3 TFLOPS로 축소한다—B200 대비 31배 퇴보—로, 메모리 바운드 커널(SpMV, GEMV, stencil)까지도 연산 바운드로 만든다. 우리는 네 가지 기여를 제시한다. 첫째, Roofline에 연산 배수 alpha, 대역폭 배수 beta, 재구성 지연 gamma를 추가한 통합 해석 모델인 Tensor-Memory Equilibrium(TME) 모델. 둘째, beta -> 1을 이끄는 메커니즘으로 레지스터 수준 융합을 밝히고, 메모리 벽 뒤에서 에뮬레이션이 사실상 무상이 되게 한다. 셋째, Ozaki II가 에뮬레이션 FP64를 ~1 TFLOPS 네이티브 하한에서 ~500 TFLOPS(B300) 및 ~400 TFLOPS(Rubin R200)로 끌어올릴 것으로 전망하며, 연산 바운드 영역에서는 B200의 네이티브 FP64 상한을 한 자릿수 이상 초과하고 대역폭 바운드 영역에서는 메모리 roofline에 부합한다. 넷째, H100 기준선 대비 Ozaki II는 연구한 모든 워크로드에서 H100과 동등하거나 이를 초과하며, B300 네이티브 FP64가 부과하는 최대 50배 퇴보와 대조된다. 동반 FFT 분석(생존 INT32 파이프라인에서 Kulisch 고정소수점 재구성) 및 동반 Part(2) 논문에서 보고된 FP32+Kahan 환원과 결합하면, B300의 조사된 모든 커널 클래스가 완전한 FP64 정밀도로 메모리 roofline에 도달한다. 증거는 제목의 주장을 뒷받침한다. Ozaki II와 Kulisch 우회 경로를 갖춘 FP8만으로 프로덕션 HPC에 충분하며, 네이티브 FP64 실리콘은 더 이상 그동안 여겨져 온 성배가 아니다.