기대 디코딩 라운드 직접 최소화를 통한 병렬 투기적 초안 모델 학습
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
한국어 초록
투기적 디코딩(speculative decoding)은 비용이 적게 드는 초안(draft) 모델을 사용해 토큰을 제안하고 전체 크기의 타깃 모델이 이를 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속화합니다. 병렬 및 준자기회귀(semi-autoregressive, semi-AR) 초안 모델은 단일 순전파에서 전체 블록을 제안하여 초안 작성 효율성을 높이지만, 이를 학습시키는 과정에서 새로운 어려움이 발생합니다. 특정 위치에 대한 초안 분포는 디코딩 라운드가 어디서 시작하는지에 따라 달라지며, 라운드의 시작 위치는 이전 라운드에서 얼마나 많은 토큰을 수락했는지에 좌우되기 때문입니다. 기존 학습 목표는 일반적으로 이러한 라운드 간 결합을 무시하는 블록 단위 국소 대리(surrogate) 손실에 의존하므로, 전역적인 디코딩 효율성을 직접 최적화하지 못합니다. 본 연구에서는 투기적 디코딩을 마르코프 보상 과정(Markov reward process)으로 표현하여 이러한 초안 모델을 학습 및 평가하기 위한 이론적 프레임워크를 개발합니다. 이 정식화를 통해 상태 점유율로 국소 기각 비용에 가중치를 부여하고 기대 디코딩 라운드 수와 정확히 일치하는 EDR(Expected Decoding Rounds) 목표를 도출합니다. 기존의 대리 목표와 달리 EDR은 보조 하이퍼파라미터를 도입하지 않습니다. 이어 타깃 모델 롤아웃으로부터 편향 없는 확률적 최적화를 지원하는 정확한 시간차(temporal-difference) 그래디언트를 유도합니다. 동일한 프레임워크는 라운드 수에 대한 정확한 오프라인 평가기도 제공하여, 투기적 디코딩을 직접 실행하지 않고도 공유된 타깃 롤아웃 상에서 쌍을 이루는 초안 모델 간의 비교를 가능하게 합니다. 최신 초안 모델인 DSpark와 DFly를 EDR로 파인튜닝한 결과, 평균 수락 길이가 지속적으로 향상되었으며 수학적 추론, 코드 생성, 대화에 걸친 9개 벤치마크 전반에서 기존 학습 목표들을 능가했습니다.
원문 초록
Speculative decoding accelerates large language model inference by using a low-cost draft model to propose tokens that the full-size target model verifies in parallel. Parallel and semi-autoregressive (semi- AR) drafters improve drafting efficiency by proposing an entire block in a single forward pass, but training them raises a new difficulty: the draft distribution for a given position depends on where the decoding round starts, and where rounds start depends on how many tokens earlier rounds accepted. Existing training objectives typically rely on block-local surrogates that ignore this cross-round coupling, and therefore do not directly optimize the global decoding efficiency. In this work, we develop a theoretical framework for training and evaluating these drafters by representing speculative decoding as a Markov reward process. This formulation yields the Expected Decoding Rounds (EDR) objective, which weights local rejection costs by state occupancies and exactly equals the expected number of decoding rounds. Unlike prior surrogate objectives, EDR introduces no auxiliary hyperparameters. We then derive an exact temporal-difference gradient that supports unbiased stochastic optimization from target-model rollouts. The same framework also yields an exact offline evaluator for round counts, enabling paired drafter comparisons on shared target rollouts without running speculative decoding. Finetuning two state-of-the- art drafters, DSpark and DFly, with EDR consistently improves mean accepted length and outperforms existing training objectives across nine benchmarks spanning math reasoning, code generation, and chat.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.