CertiSum: 플랫폼과 병렬화 구성이 달라도 비트 단위로 동일한 MXFP4 학습
CertiSum: Bitwise-Identical MXFP4 Training Across Platforms and Parallelism Layouts
한국어 초록
4비트 마이크로스케일링 형식인 MXFP4를 사용한 학습은 비결정적이다. 같은 입력을 사용해도 병렬화 구성이나 GPU 공급업체에 따라 결과가 달라질 수 있다. 이러한 차이는 디버깅과 학습 감사를 어렵게 하고 학습 엔진과 추론 엔진의 결과가 서로 달라지게 할 수 있다. 본 연구는 실행, 병렬화 구성, GPU 공급업체가 달라도 MXFP4 학습 결과가 비트 단위로 동일하도록 하는 CertiSum을 제안한다. 핵심 관찰은 MXFP4 곱을 기본 FP32 연산으로 누적할 때 합산 순서와 관계없이 이미 정확한 경우가 많다는 점이다. CertiSum은 양자화 도중 통계를 수집해 기본 행렬 곱셈 결과의 정확성을 판정하고, 정확성이 입증되지 않은 출력은 정확하게 다시 계산한다. 정확성이 입증되는 경우가 드문 곳에서는 처음부터 정확한 커널을 사용한다. 병렬화 구성이 달라도 양자화 블록을 그대로 유지하고, 어텐션과 가중치 그래디언트 계산을 포함해 부분합을 반올림 없이 합친다. Qwen3-8B-Base로 200단계 학습을 진행한 실험에서 CertiSum은 AMD MI350X와 NVIDIA GB200 사이에서, 그리고 MI350X의 데이터·텐서·컨텍스트 병렬화 구성을 바꿨을 때도 학습 상태를 비트 단위로 동일하게 유지했다. MI350X에서 FineWeb-Edu를 사용해 매개변수 80억~140억 개 규모의 모델 3개를 평가했다. 평가한 입력 가운데 크기가 큰 경우, 정확한 합산을 보장하지 않는 MXFP4 구현에 비해 학습 단계 지연 시간이 11.8~60.5% 늘었다. 처리 속도는 BF16보다 최대 $1.24\times$, 결정적 BF16보다 최대 $1.70\times$ 빨랐다.
원문 초록
Training with MXFP4, a 4-bit microscaling format, is non-deterministic: identical inputs can produce different results across parallelism layouts and GPU vendors. These differences complicate debugging and training audits and can cause training and inference engines to disagree. We present CertiSum to make MXFP4 training bitwise invariant across runs, parallelism layouts, and GPU vendors. Its key insight is that native FP32 accumulation of MXFP4 products is often already exact for every summation order. CertiSum collects statistics during quantization to certify native matrix multiplication results, recomputes uncertified outputs exactly, and uses exact kernels directly where certification rarely succeeds. CertiSum keeps quantization blocks unchanged across layouts and merges partial sums without rounding, including in attention and weight-gradient computation. In 200-step Qwen3-8B-Base experiments, CertiSum preserves training states bit for bit across AMD MI350X and NVIDIA GB200 and across changes in data, tensor, and context parallelism on MI350X. Across three 8B--14B models on FineWeb-Edu using MI350X, it adds 11.8--60.5% to training-step latency relative to its non-exact MXFP4 counterpart at the larger evaluated input shapes, with speedups of up to $1.24\times$ over BF16 and $1.70\times$ over deterministic BF16.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.