MoE 확산 디코딩의 숨은 비용: 샘플러 프로파일링과 개선
The Hidden Cost of MoE Diffusion Decoding: Profiling and Fixing the Sampler
한국어 초록
마스크 확산 언어 모델(dLLM)은 토큰으로 이루어진 전체 캔버스를 반복적으로 잡음 제거하며 디코딩하므로, 모든 순전파가 캔버스×어휘 크기의 로짓 텐서 전체에 대해 토큰별 샘플링 및 종료 파이프라인을 실행한다. 본 연구에서는 대역폭이 병목인 엣지 가속기(NVIDIA GB10)에서 260억 파라미터 확산 혼합 전문가(Mixture-of-Experts) 모델의 단일 사용자 디코딩을 프로파일링하고, 간과되기 쉬운 결과를 보고한다. 가중치 양자화 이후에는 전문가 GEMM이 아니라 이 로짓 파이프라인이 디코딩 시간에서 가장 큰 비중을 차지한다. 확정된 토큰당 한 위치의 로짓만 다루는 자기회귀 디코딩과 달리, 확산 디코딩은 출력 토큰당 S배 많은 로짓 항목을 처리하며, 여기서 S는 잡음 제거 단계 수이다. 우리는 이 파이프라인이 대부분 중복되거나 융합 가능함을 보이고, 이를 두 단계의 무손실 방식으로 제거한다. 하나는 출력이 기준 디코더와 바이트 단위로 동일한 비트 정확 단계이고, 다른 하나는 융합된 단일 패스 엔트로피 커널과 Gumbel-max 샘플링을 사용하는 정확도 동등 단계이다. W4A16 전문가 커널과 결합하면, 전체 스택은 273 GB/s 단일 장치에서 GSM8K, HumanEval, MATH의 벤치마크 정확도를 유지한 채 bf16 대비 종단 간 2.4~2.7배의 속도 향상을 달성한다. 독립적으로 구축된 두 번째 확산 MoE(LLaDA2.0-mini: 파이프라인이 디코딩의 28.8%, 융합 W4A16이 정확도 동등 조건에서 3.3배)에서도 이 발견을 확인하였으며, 밀집 확산 모델에서는 이 비용이 사라짐(3.6%)을 보인다. 이 비용은 양자화로 백본이 저렴해지는 MoE 확산에 특유한 것이다. 코드와 양자화된 가중치를 공개한다.
원문 초록
Masked diffusion language models (dLLMs) decode by iteratively denoising a full canvas of tokens, so every forward pass runs a per-token sampling and stopping pipeline over the entire canvas-by-vocabulary logits tensor. We profile single-user decoding of a 26B-parameter diffusion Mixture-of-Experts model on a bandwidth-bound edge accelerator (NVIDIA GB10) and report a result that is easy to miss: after weight quantisation, this logits pipeline, not the expert GEMMs, is the single largest consumer of decode time. Unlike autoregressive decoding, where sampling touches one position's logits per committed token, diffusion decoding processes S times as many logit entries per output token, where S is the number of denoising steps. We show this pipeline is largely redundant or fusable and remove it in two lossless tiers: a bit-exact tier whose output is byte-identical to the reference decoder, and an accuracy-parity tier using a fused single-pass entropy kernel and Gumbel-max sampling. Combined with a W4A16 expert kernel, the full stack reaches 2.4-2.7 times end-to-end speedup over bf16 at unchanged benchmark accuracy on GSM8K, HumanEval, and MATH, on a single 273 GB/s device. We confirm the finding on a second, independently built diffusion MoE (LLaDA2.0-mini: pipeline 28.8% of decode, fused W4A16 3.3 times at accuracy parity) and show it disappears on a dense diffusion model (3.6%). The cost is specific to MoE diffusion, where quantisation makes the backbone cheap. Code and quantised weights are released.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21852v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.