확산 언어 모델은 유연한 임의 순서 생성을 가능하게 하지만, 기존 샘플링 방법은 대부분 초기 마스크드 확산 모델(MDM)을 위해 설계되었다. 본 연구에서는 최근 블록 확산 언어 모델(BDLM)의 샘플링을 연구한다. 우리는 경험적·분석적으로 이 모델들이 MDM보다 자연스럽게 좌→우 디코딩에 더 정렬(alignment)되어 있음을 보인다. 이 관찰에 기반하여, 좌→우 언마스킹 구조를 유지하면서 병렬 토큰 확정을 허용하는 단순한 학습 없는(training-free) 샘플링 방법인 Parallel Autoregressive Decoding(PARD)를 제안한다. 광범위한 실험 결과, PARD는 생성 품질에서 기존 병렬 샘플러를 일관되게 능가하며, 순수 AR 디코딩 대비 상당한 속도 향상을 달성하면서 품질 격차는 작다.
추측적 디코딩(speculative decoding)의 엄격한 분포 보존 요건을 완화하는 학습 불필요(training-free) 기법들을 통합 프레임워크로 정리하고 AIME 2024, GPQA Diamond, LiveCodeBench 등 현대적 벤치마크에서 실험적으로 평가했다. 주요 발견으로, 완화된 방식은 무손실 추측적 디코딩과 달리 성능 평가 비용이 크게 증가하며, 드래프터(drafter)가 충분히 강력한 언어 모델이어야 효과적이므로 경량 다중 토큰 예측(multi-token-prediction) 드래프터에는 적합하지 않음을 보였다.
KVpop은 자기회귀 디코딩 시 KV 캐시 메모리 병목을 해결하기 위해, 밀집 어텐션 맵 없이 미래-어텐션 신호를 학습 타깃으로 삼아 보존-또는-제거 결정을 직접 지도하는 희소 어텐션 레트로핏 방법을 제안한다. Qwen3-4B 기준 75% 캐시 압축 시 전체 어텐션 성능의 98%를 유지하고, 지연 메모리 기반 점수기를 통해 근미래 컨텍스트까지 활용함으로써 기존 제거 기법들을 일관되게 능가한다.
자기회귀 LLM 디코딩에서 많은 토큰이 중간 레이어에서 이미 예측 가능함에도 전체 레이어를 통과해야 하는 비효율을 해소하기 위해, 단일 종료 깊이 선택 대신 여러 후보 깊이를 병렬 탐험하는 무손실 디코딩 알고리즘 DEX(Depth Exploration Decoding)를 제안한다. DEX는 확장-커밋-축소(expand–commit–collapse) 절차로 표준 자기회귀 디코딩과의 동등성을 유지하면서 기존 깊이 선택 기반 방법보다 높은 처리량을 달성하며, 탐험 깊이가 세밀해질수록 성능이 단조 향상됨을 이론·실험으로 입증한다.