대규모 언어 모델(LLM)은 다양한 작업에서 놀라운 성능을 달성하지만, 본질적으로 순차적인 토큰 생성으로 인해 자기회귀 디코딩 과정에서 상당한 추론 비용이 발생합니다. 사양 디코딩은 가벼운 드래프트 모델을 사용하여 여러 미래 토큰을 제안하고, 이를 더 큰 타겟 모델이 병렬로 검증하는 방식으로 이 병목 현상을 해결합니다. 최근 연구에서는 확산 언어 모델이 드래프트 토큰의 전체 블록을 병렬로 생성할 수 있어 자기회귀 드래프팅의 순차적 제약을 완화할 수 있으므로 이 설정에 매우 적합하다는 것이 입증되었습니다. 이 체계의 미묘한 점은 블록 확산 드래프터가 블록 내에서 토큰을 양방향으로 생성하는 반면, 검증은 토큰을 엄격하게 좌측에서 우측으로 평가하는 자기회귀 타겟 모델에 의해 수행된다는 것입니다. 이로 인해 대칭적인 학습 시간 목적 함수와 비대칭적인 검증 시간 보상 사이에 격차가 발생합니다. 본 연구에서는 이러한 격차를 좁히는 세 가지 학습 시간 개입에 대한 실증적 분석을 제공합니다: 토큰 위치 가중치, 각 블록 내에서 수락된 접두 문맥을 깨뜨리는 위치를 타겟팅하는 첫 번째 오류 포컬 손실, 그리고 기대 수락 길이에 대한 미분 가능한 대리 함수를 대체하는 체인 손실 항입니다. 이 세 가지 개입은 서로 직교하는 축(위치, 블록 조건부 첫 번째 오류, 결합 접두 문맥)을 따라 작동하며 가산적으로 결합됩니다. 또한 이들은 다중 드래프트 자기 선택과 같은 테스트 시간 정렬 메커니즘과도 직교하므로 원칙적으로 결합할 수 있습니다. 4개의 타겟 모델과 6개의 추론, 코드, 대화 벤치마크에서 이 세 가지 개입은 추가적인 순방향 패스를 추가하거나 추론 파이프라인 및 거부 샘플링 정확성 계약을 변경하지 않고, 위치 균일 기준선 대비 벤치마크당 수락된 드래프트 길이를 21-76% 증가시켰습니다.
Speculative decoding accelerates autoregressive generation by having a draft propose tokens that a target verifies in parallel. Frontier models increasingly ship a built-in Multi-Token-Prediction (MTP) draft head, assumed to be cheap beside verification. A shipped full-attention MTP head can become disproportionately expensive beside a hybrid target at long context. The head attends over the full KV cache for each of $\gamma$ draft forwards per decode step, while only 9-25% of target layers retain full attention, so a single draft layer can issue context reads at a rate comparable to the whole target. On hard, low-acceptance workloads, deep native MTP becomes net-negative: slower than no speculation. We apply a StreamingLLM-style window plus attention sink to the draft only (Windowed-MTP); target verification remains full-context, so the target distribution is preserved. The intervention is training-free and drop-in. On three models from two hybrid families (Gated DeltaNet and Mamba2) at 1M context on one GPU in SGLang, it provides an acceptance-free 1.28-1.44x per-decode-step speedup over native MTP. The speedup grows with context; at matched acceptance, TPOT improves by the same factor. The window removes most of the draft's working set, and a compact ring buffer converts that reduction into physical capacity: it reclaims the otherwise dead draft pool, a measured 7.7-11.1% of total KV at 1M, making room for one additional concurrent 1M request in the Qwen-35B batch sweep.