arXiv:2601.07568v3 cs.LG

d3LLM: 유사 궤적 증류를 활용한 초고속 확산 대규모 언어 모델

d3LLM: Ultra-Fast Diffusion LLM using Pseudo-Trajectory Distillation

Yu-Yang Qian, Junda Su, Lanxiang Hu, Peiyuan Zhang, Zhijie Deng, Peng Zhao, Hao Zhang

제출 2026-01-12

한국어 초록

확산 대규모 언어 모델(diffusion large language models, dLLMs)은 병렬 디코딩 및 무작위 순서 생성과 같이 자기회귀(autoregressive, AR) 대규모 언어 모델(LLM)을 뛰어넘는 기능을 제공합니다. 그러나 dLLM은 본질적으로 정확도와 병렬성 간의 트레이드오프(trade-off)에 직면하므로, 실제로 이러한 이점을 실현하는 것은 간단하지 않습니다. 증가하는 관심에도 불구하고, 기존 방법들은 대개 효율성이나 정확도 중 하나만을 목표로 삼아 동전의 한 면에만 집중합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 정확도와 병렬성 사이의 균형을 맞추는 d3LLM(Pseudo-Distilled Diffusion Large Language Model)을 제안합니다: (i) 학습(training) 중에는 초기 단계에서 어떤 토큰을 신뢰성 있게 디코딩할 수 있는지 모델에 가르쳐 병렬성을 향상시키는 유사 궤적 증류(pseudo-trajectory distillation)를 도입합니다; (ii) 추론(inference) 중에는 정확도를 유지하면서 높은 병렬성을 달성하기 위해 KV 캐시 갱신 메커니즘을 갖춘 엔트로피 기반 다중 블록 디코딩을 적용합니다. dLLM을 더 잘 평가하기 위해 정확도와 병렬성을 공동으로 측정하는 새로운 지표인 AUP(Accuracy Under Parallelism)도 도입합니다. 실험 결과, d3LLM은 바닐라 LLaDA/Dream 대비 최대 10배, AR 모델 대비 큰 정확도 하락 없이 5배의 속도 향상을 달성함을 입증합니다. 코드는 https://github.com/hao-ai-lab/d3LLM 에서 확인할 수 있습니다.

원문 초록

Diffusion large language models (dLLMs) offer capabilities beyond those of autoregressive (AR) LLMs, such as parallel decoding and random-order generation. However, realizing these benefits in practice is non-trivial, as dLLMs inherently face an accuracy-parallelism trade-off. Despite increasing interest, existing methods typically focus on only one-side of the coin, targeting either efficiency or accuracy. To address this limitation, we propose d3LLM (Pseudo-Distilled Diffusion Large Language Model), striking a balance between accuracy and parallelism: (i) during training, we introduce pseudo-trajectory distillation to teach the model which tokens can be decoded confidently at early steps, thereby improving parallelism; (ii) during inference, we employ entropy-based multi-block decoding with a KV-cache refresh mechanism to achieve high parallelism while maintaining accuracy. To better evaluate dLLMs, we also introduce AUP (Accuracy Under Parallelism), a new metric that jointly measures accuracy and parallelism. Experiments demonstrate that our d3LLM achieves up to 10$\times$ speedup over vanilla LLaDA/Dream, and 5$\times$ speedup over AR models without much accuracy drop. Our code is available at https://github.com/hao-ai-lab/d3LLM.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.07568v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.