한국어 초록
투기적 디코딩(speculative decoding)은 대규모 언어 모델(LLM)의 자기회귀적 생성을 가속한다. 각 초안 작성 단계(drafting stage)에서 경량 드래프트 모델이 토큰을 제안하고, 타깃 모델이 이후 이를 검증한다. 드래프트 모델의 성능이 점차 향상됨에 따라, 본 연구에서는 초안 작성 단계에서 생성된 모든 토큰을 타깃 모델이 완전히 수락하는 경우가 빈번하다는 점을 발견했다. 그럼에도 불구하고 각 초안 작성 단계마다 검증이 뒤따르기 때문에, 초안 작성을 계속 진행할 수 있었던 상황에서도 불필요한 타깃 모델 순전파(forward pass)가 발생하게 된다. 적응형 초안 길이(adaptive draft length) 방식은 디코딩 과정에서 검증 전에 생성할 드래프트 토큰 수를 결정하지만, 이는 자기회귀 드래프트 모델에 대해서만 속도 향상을 가져온다. 병렬 드래프트 모델의 경우, 초안 작성을 계속하려면 아직 검증되지 않은 드래프트 토큰에 대한 타깃 모델의 은닉 상태(hidden state)가 필요하다. 본 연구에서는 검증 전에 여러 초안 작성 단계를 적응적으로 수행하는 루프 형태의 투기적 디코딩인 DLoop를 제안한다. DLoop는 드래프트 모델의 신뢰도가 유지되는 동안 초안 작성을 계속하며, 누적된 모든 드래프트 토큰을 한 번에 검증한다. 루프 인식 학습(loop-aware training)은 검증되지 않은 드래프트 토큰에 대해 드래프트 모델 자체의 은닉 상태를 노출함으로써 추가 초안 작성 단계에서도 드래프트 모델의 신뢰성을 유지하도록 한다. 드래프트 모델의 순전파를 추가로 사용하는 대신, DLoop는 검증에 필요한 타깃 모델의 순전파 횟수를 줄인다. EAGLE-3, DFlash, Domino, DSpark, 다중 토큰 예측(multi-token prediction) 모듈을 포함한 다양한 투기적 디코딩 방식 전반에 걸쳐, DLoop는 무손실 디코딩을 유지하면서 실제 소요 시간(wall-clock) 기준 속도 향상을 5%에서 41%까지 개선한다. 코드는 https://github.com/naver-ai/DLoop 에서 공개될 예정이다.
원문 초록
Speculative decoding accelerates autoregressive generation in large language models. In each drafting stage, a lightweight draft model proposes tokens that the target model subsequently verifies. With increasingly capable draft models, we find that the target model frequently accepts all tokens produced in a drafting stage. A verification nevertheless follows each drafting stage, resulting in unnecessary target-model forward passes even when drafting could have continued. Adaptive draft length methods decide during decoding how many draft tokens precede a verification, but they raise the speedup only for autoregressive draft models. For a parallel draft model, drafting further requires target-model hidden states for draft tokens that have not been verified. We propose DLoop, a looped form of speculative decoding that adaptively performs multiple drafting stages before verification. DLoop continues drafting while the draft model remains confident and verifies all accumulated draft tokens together. Loop-aware training keeps the draft model reliable in the additional drafting stages by exposing it to its own hidden states for unverified draft tokens. By spending additional draft-model forward passes, DLoop reduces the number of target-model forward passes required for verification. Across diverse speculative decoding methods including EAGLE-3, DFlash, Domino, DSpark, and multi-token prediction modules, DLoop improves the wall-clock speedup by 5 to 41 percent while preserving lossless decoding. Code will be available at https://github.com/naver-ai/DLoop.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
22 pages