확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.
확산 대규모 언어 모델(dLLM)은 최근 기존 자기회귀(AR) 대규모 언어 모델(LLM)의 유망한 대안으로 부상했다. 양방향 어텐션과 병렬 디코딩을 활용함으로써 dLLM은 더 효율적인 생성을 가능하게 한다. 그러나 dLLM은 추론 시(학습 중에는 없음) 신중하게 설계된 디노이징 스케줄러를 필요로 하며, 그 선택은 생성 품질에 상당한 영향을 미친다. 신뢰도 기반 휴리스틱 스케줄러는 강력한 경험적 성능을 보여 왔지만, EOS Overflow와 Proximal Bias라는 두 가지 치명적인 실패 양상을 겪는다. 트랜스포머의 어텐션 패턴에 대한 심층 분석을 통해, 이러한 실패는 특정 위치가 유효하지 않은 토큰(예: [MASK] 및 [EOS])에 지나치게 높은 어텐션 가중치를 부여하여 잘못된 신뢰도 신호를 만들어내는 데서 비롯됨을 밝혔다. 이 통찰을 바탕으로, 유효한 어텐션 점수가 기존 신뢰도 기반 휴리스틱에 보완적 지침을 제공할 수 있음을 경험적 증거가 보여 주지만, 어떤 단일 지표도 모든 시나리오에서 일관되게 우수하지는 않아 최적의 디노이징 궤적이 맥락에 크게 의존함을 시사한다. 이 문제를 해결하기 위해 공분산 행렬 적응 진화 전략(CMA-ES)으로 최적화한 경량 진화 휴리스틱 스케줄러를 제안한다. 우리 스케줄러는 맥락적 mean-field 임베딩과 함께 여러 휴리스틱 특징을 동적으로 통합하며, 학습 가능 매개변수는 393개만 필요하다. LLaDA와 Dream에 대해 네 가지 추론 및 계획 벤치마크에서 평가한 결과, 우리 방법은 기존 휴리스틱, 블록 자기회귀 방법, 최근 최신(SOTA) 접근법을 포함한 강력한 기준선들을 일관되게 능가한다. 우리가 아는 한, 이는 지금까지 가장 매개변수 효율적인 신경 스케줄러이다. 코드는 https://github.com/RS2002/Evo-Denoise 에서 이용할 수 있다.
확산 언어 모델은 유연한 임의 순서 생성을 가능하게 하지만, 기존 샘플링 방법은 대부분 초기 마스크드 확산 모델(MDM)을 위해 설계되었다. 본 연구에서는 최근 블록 확산 언어 모델(BDLM)의 샘플링을 연구한다. 우리는 경험적·분석적으로 이 모델들이 MDM보다 자연스럽게 좌→우 디코딩에 더 정렬(alignment)되어 있음을 보인다. 이 관찰에 기반하여, 좌→우 언마스킹 구조를 유지하면서 병렬 토큰 확정을 허용하는 단순한 학습 없는(training-free) 샘플링 방법인 Parallel Autoregressive Decoding(PARD)를 제안한다. 광범위한 실험 결과, PARD는 생성 품질에서 기존 병렬 샘플러를 일관되게 능가하며, 순수 AR 디코딩 대비 상당한 속도 향상을 달성하면서 품질 격차는 작다.
자기회귀(AR) 언어 모델의 느리고 순차적인 특성으로 인해 병렬 디코딩 방법이 채택되고 있다. 그러나 이러한 비-AR 모델은 토큰 시퀀스의 복잡한 결합 분포를 모델링하는 데 어려움을 겪어 생성 품질을 희생하는 경우가 많다. 이 성능 격차를 줄이기 위해, 병렬 디코더가 이 분포를 효과적으로 학습할 수 있도록 하는 새로운 증류 기법인 Gumbel Distillation을 제안한다. 우리 방법은 Gumbel-Max 트릭을 활용하여 잠재 Gumbel 노이즈 공간에서 고성능 AR 교사의 출력 토큰으로의 결정론적 매핑을 만든다. 모델에 구애받지 않는 기법으로서, Gumbel Distillation은 MDLM 및 BD3-LM을 포함한 다양한 병렬 디코딩 아키텍처와 원활하게 통합된다. LM1B 및 OpenWebText에서의 실험 결과, Gumbel Distillation은 병렬 언어 모델의 생성 품질을 크게 향상시키며, OpenWebText 데이터셋으로 학습된 MDLM 대비 MAUVE 점수에서 30.0%, 생성 perplexity에서 10.5%의 개선을 달성한다. 코드는 https://github.com/hxixixh/gumbel-distill 에서 이용할 수 있다.
병렬 디코딩은 확산 대규모 언어 모델(dLLM)의 효율성에 핵심적이지만, 현재 전략들은 지나치게 보수적인 신뢰도 임계값으로 인해 종종 저해된다. 이러한 임계값은 결합 확률 의존성 오류(JPDE)로 인해 필요해지며, 중복적인 디노이징 반복과 최적이 아닌 추론 속도를 초래한다. 이를 극복하기 위해, 우리는 중간 신뢰도 영역에서 dLLM의 신뢰할 수 있는 가속을 가능하게 하는 무학습 프레임워크인 DC-Leap을 제안한다. DC-Leap은 엄격히 순서가 정해진 인과 제약을 병렬 디코딩 과정에 통합하는 동적 연속 검증(Dynamic Contiguous Verification) 전략을 도입한다. 토큰 의존성을 점진적으로 검증함으로써, 이 메커니즘은 JPDE를 효과적으로 상쇄하여 유사한 성능으로 신뢰할 수 있는 가속을 가능하게 한다. 또한 DC-Leap은 드래프트 가이드 디코딩 메커니즘을 통합하며, 여기서 드래프트는 여러 토큰에 걸쳐 앞으로 도약함으로써 컨텍스트를 확장하고, look-ahead 컨텍스트를 제공하며, 추론 중 양방향 어텐션의 구조적 이점을 유지한다. 표준 벤치마크에 대한 광범위한 실험은 DC-Leap이 상당한 속도 향상을 달성함을 보여주며, 긴 시퀀스 생성에서 MBPP 기준 최대 53.19배, KV-Cache와 결합 시 유사한 생성 품질로 최대 105.02배까지 달성한다. 코드는 https://github.com/ffh-wyls/DC-Leap 에서 이용 가능하다.
확산 언어 모델(DLM)과 자기회귀(AR) 모델 간의 분포 격차를 좁히기 위해, DLM 제안 분포와 AR 목표 분포의 전문가 곱(Product-of-Experts)으로 구성된 중간 브리지 분포를 활용하는 새로운 디코딩 프레임워크 PoE-Bridge를 제안한다. PoE-Bridge는 거부 샘플링과 중요도 샘플링을 두 단계로 분리 적용하여 표준 DLM 디코딩 대비 5배 속도 향상과 함께 AR 모델 성능의 95% 이상을 회복하며, 수학적 추론 및 코딩 벤치마크에서 품질-효율 격차를 효과적으로 해소한다.
확산 대규모 언어 모델(DLLM)은 병렬 디코딩을 통한 빠른 텍스트 생성의 가능성을 지닌 강력한 생성 모델로 부상하고 있다. 그러나 이러한 잠재력을 실제로 실현하는 것은 여전히 어렵다. 디코딩 단계 수를 줄이면 토큰 인수분해 오류(token factorization error)로 인해 출력 품질이 크게 저하되는 경우가 많기 때문이다. 이를 완화하기 위해, 우리는 소수 단계 학생 모델이 풀 스텝 교사 모델의 생성 궤적을 모방하도록 학습시키는 자기 지식 증류(self-distillation) 프레임워크를 제안한다. 우리는 궤적 수준의 지도(supervision)가 이 인수분해 오류를 이론적·실험적으로 완화하여 효과적인 소수 단계 디코딩을 가능하게 함을 보인다. 또한 교사 모델의 모드를 향한 모드 탐색(mode-seeking)을 장려하는 역방향 KL 목적함수인 DDO(Direct Discriminative Optimization)를 통합하여, 어려운 추론 과제에서 더욱 강력한 성능을 발휘한다. 추론 및 코드 생성 벤치마크 전반에 걸쳐, 우리의 방법은 소수 단계 디코딩과 풀 스텝 디코딩 간의 격차를 크게 줄인다. 소스 코드는 https://github.com/Tyrion58/T3D 에서 확인할 수 있다.
밀집 비디오 캡셔닝(dense video captioning)은 비디오 이벤트에 대해 시간적으로 근거된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 기여합니다. 이 분야에서 자기회귀(autoregressive) 비디오 대규모 언어 모델(LLM)은 강력한 생성 능력과 크로스-모달 모델링 용량을 바탕으로 주류 패러다임으로 자리잡았습니다. 그러나 토큰(token) 단위 패러다임 하에서 밀집 캡션을 생성하는 방식은 추론(inference) 효율성을 심각하게 제한하며, 비디오 길이와 이벤트 밀도가 증가할수록 확장성을 저해합니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 근거된 캡셔닝 성능도 강화하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 아이디어는 시간적으로 구별되는 이벤트들 간의 약한 로컬 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 이벤트 간 의존성이 약한 토큰은 병렬로 디코딩될 수 있는 반면, 각 이벤트 내에서 강하게 결합된 토큰은 로컬 의미 일관성을 보존하기 위해 순차 디코딩을 유지합니다. 이를 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다: (1) 이벤트 수준 구조를 자동으로 학습하고, 이벤트 수준 오디오-비주얼 의미론을 적응적으로 집계하면서 글로벌 이벤트 간 인과성을 인코딩하는 컴팩트한 토큰을 생성하여 후속 의존성 재구성 및 병렬 디코딩을 안내하는 잠재적 글로벌 계획 메커니즘; (2) 로컬 집중과 글로벌 이벤트 간 인식을 효과적으로 균형 잡는 이벤트 인수분해 병렬 디코딩 메커니즘. 다양한 벤치마크에서의 실험은 옴니-모달 이벤트 그라운딩 및 캡셔닝에서 효율성과 성능 모두에 걸쳐 우리 접근법의 명확한 우위를 입증합니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.
확산 대규모 언어 모델(dLLM)의 디코딩 방법 평가에서 프롬프트 템플릿 선택에 따라 방법 간 순위가 크게 달라지는 '평가 착시(evaluation illusion)' 현상을 규명하고, 현재 병렬 디코딩 방법들이 단일 토큰 디코딩 기준선을 지속적으로 하회하며 속도-품질 트레이드오프를 극복하지 못함을 포괄적인 실험으로 입증한다. 이를 바탕으로 신뢰할 수 있는 dLLM 디코딩 평가를 위한 실용적인 가이드라인을 제안한다.
블록 확산 언어 모델(BD-LM)을 멀티 블록 확산(MultiBD) 추론으로 확장할 때 발생하는 학습-추론 불일치를 해소하기 위해, 유한 크기의 노이즈 그룹과 무작위화된 노이즈 스케줄러를 활용하는 멀티 블록 교사 강제(MultiTF) 사후학습 기법과 Block Buffer 기반 최적화 디코딩 엔진을 제안한다. MBD-LLaDA2-Mini는 순전파당 평균 토큰 수(TPF)를 3.47에서 6.19로 높이고 정확도도 향상시켰으며, DMax와 결합 시 수학·코드 벤치마크에서 1.02%p의 정확도 하락만으로 TPF 9.34를 달성했다.
디퓨전 대규모 언어 모델(dLLM)의 고정 블록 스케줄은 의미적 난이도를 반영하지 못해 불확실한 위치의 조기 확정과 경계 근처 쉬운 토큰의 지연을 유발한다. 학습 없는 동적 슬라이딩 블록(DSB)과 이에 맞춘 DSB Cache를 제안해 블록 크기와 경계를 동적으로 조절하며, 여러 모델·벤치마크에서 생성 품질과 추론 효율을 일관되게 개선했다.