arXiv:2607.26627v2 cs.CL

투기적 디코딩에서의 손실 검증 재고: 메커니즘, 트레이드오프, 그리고 실패 모드

Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes

Tianyu Wang, Yuxuan Zhou, Heng Li, Wenbin Wang, Zikai Xiao, Chunrui Zheng, Junyuan Shang

제출 2026-07-29

한국어 초록

투기적 디코딩(Speculative Decoding, SD)은 경량 드래프트 모델이 토큰을 제안하고 이후 더 큰 타깃 모델이 이를 병렬로 검증하도록 하여 대규모 언어 모델(LLM) 추론을 가속한다. 최근 연구들은 엄격한 분포 일치를 완화하여 효율성을 더욱 개선하는 손실 검증(lossy verification) 기법을 도입하고 있다. 그러나 이러한 완화는 디코딩 분포를 암묵적으로 재작성하며, 결과적으로 얻는 가속은 불안정하고 때로는 심각하게 저하되는 생성 품질이라는 대가를 수반할 수 있다. 본 연구에서는 손실 검증 방법들이 유도하는 분포에 대한 원칙적 분석을 제시한다. 겉보기에 달라 보이는 다수의 접근법이 표면적으로만 다를 뿐이며, 절단(truncation) 기반 검증과 협업적 검증(collaborative verification)이라는 두 가지 범주로 통합될 수 있음을 보인다. 나아가 우리는 선별된 벤치마크 전반에 걸친 진단적 평가 프레임워크를 구축한다. 절단 기반 방법에 대해서는 분포 왜곡으로 인해 실제 절단 샘플링 기준선(baseline) 대비 성능이 크게 저하될 수 있다는 근본적인 문제점을 규명한다. 협업적 검증의 경우, 드래프트와 타깃 간의 선형 보간보다는 오버슈트 억제와 감독 품질 같은 잘 설계된 완화 원칙이 훨씬 더 중요하다는 점을 밝혀낸다. 코드는 https://github.com/ZhouYuxuanYX/Fast-HSD 에서 확인할 수 있다.

원문 초록

Speculative Decoding (SD) accelerates large language model inference by allowing a lightweight draft model to propose tokens that are subsequently verified in parallel by a larger target model. Recent approaches introduce lossy verification schemes to further improve efficiency by relaxing strict distributional matching. Yet such relaxation silently rewrites the decoding distribution, and the resulting acceleration can come at the cost of unstable, sometimes severely degraded generation quality. In this work, we present a principled analysis of the distributions induced by lossy verification methods. We show that many seemingly distinct approaches differ only superficially and can be unified into two categories: truncation-based verification and collaborative verification. We further construct a diagnostic evaluation framework across curated benchmarks. For truncation-based methods, we identify a fundamental pitfall-performance can degrade significantly compared to the true truncation sampling baseline due to distributional distortion. For collaborative verification, we reveal that well-designed relaxation principles, namely overshoot suppression and supervision quality, matter far more than the linear interpolation between draft and target. Our code is available at https://github.com/ZhouYuxuanYX/Fast-HSD.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.26627v2제출 시각 미확인
  2. arXiv:2607.26627v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.