PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.23698v1cs.MS

FP8 is All You Need (Part 2): Efficient Ozaki-Bailey Style FFT Through Tensor-core Garner Reformulation and Kulisch Escape Route

NVIDIA's Blackwell Ultra (B300) cuts FP64 vector throughput to ~1.3 TFLOPS per GPU, roughly 30x below B200 and well below the level at which bandwidth-limited FP64 workloads stay memory-bound. The Ozaki Scheme II framework recovers FP64-equivalent throughput by routing dense matrix multiply through FP8 tensor cores with a mantissa-sliced Chinese-remainder reconstruction. A companion Part (1) paper covers dense GEMM, batched GEMV, stencils, and SpMV; this paper adds the fifth canonical primitive, the 3-D FFT. We present Ozaki-Bailey FFT, an emulated 3-D FFT via the Bailey six-step decomposition with both 1-D FFT GEMMs on FP8 tensor cores. Bailey's small inner factor k ~ sqrt(N) (k=32 for N=1024) puts the kernel in the regime k << r^2, where the third TME parameter gamma (reconstruction latency) binds rather than amortising. Garner reconstruction splits into Phase A (inner products on FP8/INT8 tensor cores, ~1 ms for 1024^3 on B300) and Phase B (per-output reduction). We identify Kulisch fixed-point complete arithmetic as a Phase B reformulation that keeps full FP64 accuracy while running entirely on the INT32 SIMT pipe. We derive closed-form bandwidth-parity floors. The native FP64 floor is 1.56*B_HBM (12.5 TF at 8 TB/s): B300's 1.3 TF sits ~10x below, Rubin's 33 TF within 4%. The Kulisch escape route needs an INT32 sub-floor 8.25*B_HBM and an FP8 floor 170*B_HBM; B300 meets both. The projection is ~18 ms for 1024^3 at full FP64, essentially the 12.9 ms memory roof. A GPU meets memory-roof FFT parity if it satisfies either the native floor or both Kulisch floors. If the projection holds in practice, B300 becomes viable for full-FP64 FFT through software alone, motivating a libKulisch library and benchmark campaign.

arXiv:2606.06521v1cs.AR

FP8 어텐션의 P-Cast 정밀도: Sink 유발 붕괴와 S=2^8의 최적성

P-Cast Precision in FP8 Attention: Sink-Induced Collapse and the Optimality of S=2^8

FP8 (E4M3)를 이용한 어텐션 연산 가속은 상당한 처리량 향상을 제공하지만, 3비트 가수(mantissa)는 P*V 행렬 곱 이전에 소프트맥스 확률 행렬 P를 FP8로 캐스팅(P-cast)할 때 정밀도 문제를 야기한다. Attention Sink 현상 하에서 출력 정밀도에 영향을 주는 두 가지 구현 선택을 분석한다: (1) KV 블록 반복 순서, (2) 캐스팅 전 P에 적용하는 정적 스케일링 인자. 순방향 KV 반복이 "P-collapse"를 유발함을 보인다—1차 근사로, non-sink P 값의 비율 Phi(Delta + delta_k - 6.93 - ln S)이 0으로 언더플로(underflow)한다. 여기서 작은 이동 delta_k ~ 1 (k_sink = 4일 때)은 sink 블록 내 기대 점수 최댓값이다—반대로 역방향 반복은 이를 제거하며, 역방향과 S = 256을 결합하면 언더플로 0 보장이 성립한다. 또한 S = 256 = 2^8가 정적 스케일로서 (i) 비트 정확(bit-exact) IEEE 754 스케일링, (ii) E4M3 수직선 위 톱니 함수 dp(S)의 하한 포락선(dp = 2^-4, 최소 최악 경우 양자화 스텝), (iii) 비트 정확 (2^k) 스케일 중 정규 범위(normal-range) 최대 커버리지(448 같은 비트 비정확 스케일은 약간 더 높은 커버리지를 달성)를 동시에 만족한다는 구성적 특성을 제시한다. 두 최적화 모두 공학적 근거로 FlashAttention-3/4에 이미 배포되어 있다; 본 연구의 기여는 이러한 선택이 왜 좋은지에 대한 정량적 설명과 커널 수준 정밀도 손실 예측을 위한 닫힌형(closed-form) 임계값 Delta_c = 6.93 + ln S - delta_k를 제공하는 것이다. 커널 정확(kernel-faithful) 실험(P-cast 효과를 격리하기 위해 Q, K, V는 FP32)은 중간 수준의 sink 강도에서 3-10배 MSE 개선을 보여주며, 대응 검정(paired tests)은 두 수정을 결합하면 동일한 정밀도 하한에 수렴함을 확인한다.

arXiv:2606.06510v1cs.AR

FP8 is All You Need (Part 1): HPC 성배로 여겨지는 하드웨어 FP64의 신화 타파

FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail

기존 HPC 교리는 네이티브 하드웨어 FP64 실리콘이 과학 컴퓨팅의 환원 불가능한 기반이며—이중 정밀도 시뮬레이션의 '성배'라고 본다. 이 논문은 그 교리가 틀렸다고 주장한다. B300 세대 및 이후의 AI 최적화 GPU에서는 풍부한 FP8 텐서 처리량과 중국 나머지 정리(Chinese Remainder Theorem) 기반 Ozaki Scheme II를 결합하면, 표준 HPC 커널 스펙트럼 전반에서 완전한 FP64 정밀도로 메모리 roofline 실행을 회복한다. NVIDIA Blackwell Ultra(B300)는 네이티브 FP64를 ~1.3 TFLOPS로 축소한다—B200 대비 31배 퇴보—로, 메모리 바운드 커널(SpMV, GEMV, stencil)까지도 연산 바운드로 만든다. 우리는 네 가지 기여를 제시한다. 첫째, Roofline에 연산 배수 alpha, 대역폭 배수 beta, 재구성 지연 gamma를 추가한 통합 해석 모델인 Tensor-Memory Equilibrium(TME) 모델. 둘째, beta -> 1을 이끄는 메커니즘으로 레지스터 수준 융합을 밝히고, 메모리 벽 뒤에서 에뮬레이션이 사실상 무상이 되게 한다. 셋째, Ozaki II가 에뮬레이션 FP64를 ~1 TFLOPS 네이티브 하한에서 ~500 TFLOPS(B300) 및 ~400 TFLOPS(Rubin R200)로 끌어올릴 것으로 전망하며, 연산 바운드 영역에서는 B200의 네이티브 FP64 상한을 한 자릿수 이상 초과하고 대역폭 바운드 영역에서는 메모리 roofline에 부합한다. 넷째, H100 기준선 대비 Ozaki II는 연구한 모든 워크로드에서 H100과 동등하거나 이를 초과하며, B300 네이티브 FP64가 부과하는 최대 50배 퇴보와 대조된다. 동반 FFT 분석(생존 INT32 파이프라인에서 Kulisch 고정소수점 재구성) 및 동반 Part(2) 논문에서 보고된 FP32+Kahan 환원과 결합하면, B300의 조사된 모든 커널 클래스가 완전한 FP64 정밀도로 메모리 roofline에 도달한다. 증거는 제목의 주장을 뒷받침한다. Ozaki II와 Kulisch 우회 경로를 갖춘 FP8만으로 프로덕션 HPC에 충분하며, 네이티브 FP64 실리콘은 더 이상 그동안 여겨져 온 성배가 아니다.