arXiv:2610.07822v1 cs.CL

뉴클리어스 추측 디코딩: 정확한 분포를 넘어선 타당성 인지 검증

Nucleus Speculative Decoding: Plausibility-Aware Verification Beyond Exact Distribution

Shuhao Li, Fanghua Ye, Wanyu Lin, Tianyu Yuan, Xiaoyu Shen

제출 2026-10-06

한국어 초록

추측 디코딩(Speculative decoding)은 경량 초안 모델(draft model)을 사용하여 여러 토큰을 제안하고 이를 타깃 모델이 병렬로 검증함으로써 자기회귀(autoregressive) 생성을 가속합니다. 그러나 표준 수락 규칙은 정확한 분포 보정에 초점을 맞추고 있어, 초안 모델이 초과 확률을 할당할 때 타깃 모델 관점에서 매우 타당한 토큰이라 하더라도 기각합니다. 이러한 보수적인 검증은 각 검증 순전파(forward pass) 이후 유지되는 초안 토큰의 수를 제한합니다. 본 논문에서는 타깃 모델의 타당성을 추측 디코딩에 통합하는 완화된 검증 방법인 뉴클리어스 추측 디코딩(Nucleus Speculative Decoding, NSD)을 소개합니다. NSD는 초안 토큰이 표준 수락 규칙을 만족하거나 타깃 모델의 뉴클리어스에 속하는 경우 이를 수락합니다. 본 연구는 제안 방법으로 인해 발생하는 분포 편차를 이론적으로 규명하며, 단일 단계 오류가 타깃 뉴클리어스 내 초안 모델의 초과 확률에 의해 정확히 결정됨을 보입니다. 나아가 자기회귀 디코딩 과정에서 국소 편차가 어떻게 누적되는지 정량화하는 시퀀스 수준의 충실도 경계(fidelity bounds)를 도출합니다. 다양한 타깃 모델과 제안 메커니즘 전반에 걸친 실험을 통해 NSD가 경쟁력 있는 태스크 성능을 유지하면서도 추측 디코딩 효율을 일관되게 향상함을 입증합니다. 제안 방법은 자기회귀 디코딩 대비 최대 $5.16\times$, 표준 추측 디코딩 대비 최대 $3.15\times$의 처리량 속도 향상을 달성합니다. 이러한 개선은 더 긴 수락 길이와 맞물려 각 타깃 검증 단계의 비용을 더 많은 출력 토큰이 분담할 수 있도록 합니다. 분석 결과에 따르면 타당성 인지 검증은 완화된 검증 및 추측 디코딩 효율성을 위한 효과적인 접근 방식을 제공합니다. 코드는 https://github.com/EIT-NLP/Nucleus-Speculative-Decoding 에서 제공됩니다.

원문 초록

Speculative decoding accelerates autoregressive generation by using a lightweight draft model to propose multiple tokens that are verified by a target model in parallel. However, the standard acceptance rule focuses on exact distribution correction and rejects tokens that remain highly plausible under the target model when the draft model assigns excess probability. This conservative verification limits the number of draft tokens retained after each verification forward pass. We introduce Nucleus Speculative Decoding (NSD), a relaxed verification method that incorporates target-model plausibility into speculative decoding. NSD accepts a draft token if it satisfies the standard acceptance rule or belongs to the target model's nucleus. We theoretically characterize the distributional deviation introduced by our method and show that the single-step error is exactly determined by the draft model's excess probability within the target nucleus. We further derive sequence-level fidelity bounds that quantify how local deviations accumulate over autoregressive decoding. Experiments across multiple target models and proposal mechanisms demonstrate that NSD consistently improves speculative decoding efficiency while maintaining competitive task performance. Our method achieves throughput speedups of up to $5.16\times$ over autoregressive decoding and up to $3.15\times$ over standard speculative decoding. These improvements coincide with longer accepted lengths, allowing more output tokens to share the cost of each target verification pass. Analysis shows that plausibility-aware verification provides an effective approach for relaxed verification and speculative decoding efficiency. Our code is available at https://github.com/EIT-NLP/Nucleus-Speculative-Decoding.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07822v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.