arXiv:2607.25852v2 cs.CL

AngelSpec: 투기적 디코딩을 통한 실환경 고성능 추론을 향하여

AngelSpec: Towards Real-World High Performance Inference with Speculative Decoding

Hong Liu, Rui Cen, Junhan Shi, Guangshuo Qin, Jiebin Zhang, Tianyu Liu, Runzhi Fan, Guoliang Zhao, Ruobing Xie, Kai Zhang, Song Liu, Guanghua Yu, Jianchen Zhu

제출 2026-07-28

한국어 초록

투기적 디코딩(speculative decoding)은 타깃 분포를 변경하지 않고 대규모 언어 모델(LLM)의 추론을 가속하지만, 단일 초안 작성(drafting) 구조가 모든 실제 워크로드에서 최적의 성능을 내지는 못합니다. 자기회귀 멀티 토큰 예측(MTP)은 가볍고 안정적인 제안 메커니즘인 반면, 블록 병렬 확산(block-parallel diffusion)은 훨씬 더 긴 후보 시퀀스에 걸쳐 초안 작성 지연 시간을 분산시킵니다. 따라서 더 나은 선택은 출력 분포에 크게 좌우됩니다. 본 논문에서는 세 가지 수준에서 이러한 이종성을 해결하는 MTP 및 블록 병렬 투기적 디코딩 통합 학습 프레임워크인 AngelSpec을 제시합니다. 학습 수준에서는 획일적인 데이터 혼합에 하나의 범용 초안 모델을 맞추기보다 구조와 데이터를 함께 특화(co-specialize)합니다. 즉, MTP 초안 모델은 엔트로피가 높은 개방형 대화를 위한 다양한 대화 데이터로 학습시키고, 블록 확산 초안 모델은 더 길고 예측 가능한 연속 생성을 위한 코드 및 수학 데이터로 학습시킵니다. 아키텍처 수준에서는 하이브리드 타깃 조건화 백본과 이전 토큰 조건화 자기회귀 헤드를 결합한 블록 확산 프레임워크인 DFly를 제안하여, 생성을 병렬로 유지하면서도 타깃 특징 활용도와 블록 내 의존성 모델링을 향상합니다. 추론 수준에서는 수용 길이와 검증 비용이 도메인, 요청, 온라인 부하, 하드웨어에 따라 달라지므로, DFly는 검증을 공유 배치 수준 자원으로 취급합니다. 즉, 요청 전반에 걸쳐 신뢰도가 높은 접두사로 연산을 재할당하고, 기대 효용과 프로파일링된 비용 모델을 결합하여 검증 깊이를 온라인에서 적응적으로 조절합니다. Hy3 시리즈 전반에 걸쳐 DFly는 Hy3-A21B의 평균 수용 길이를 약 30% 증가시켰으며, 4에서 64까지 테스트된 모든 동시성 수준에서 가장 높은 평균 처리량을 달성하여 자기회귀 디코딩 대비 1.98~2.40배의 속도 향상과 DFlash 대비 10.5~11.8% 더 높은 처리량을 기록했습니다. 이러한 방법들의 학습 및 확장을 지원하기 위해 AngelSpec을 공개합니다.

원문 초록

Speculative decoding accelerates large language model inference without changing the target distribution, but no single drafting structure performs best across real-world workloads. Autoregressive multi-token prediction (MTP) is a lightweight, stable proposal mechanism, whereas block-parallel diffusion amortizes drafting latency over much longer candidate sequences; the better choice depends strongly on the output distribution. We present AngelSpec, a unified training framework for MTP and block-parallel speculative decoding that addresses this heterogeneity at three levels. At the training level, rather than fitting one universal drafter to a uniform data mixture, we co-specialize structure and data: the MTP drafter is trained on diverse conversational data for high-entropy open-ended chat, and the block-diffusion drafter on code and mathematics data for longer predictable continuations. At the architecture level, we propose DFly, a block-diffusion framework combining a hybrid target-conditioning backbone with a predecessor-conditioned autoregressive head, improving target-feature utilization and intra-block dependency modeling while keeping generation parallel. At the inference level, both acceptance length and verification cost vary with domain, request, online load, and hardware, so DFly treats verification as a shared batch-level resource: it reallocates compute toward high-confidence prefixes across requests and combines expected utility with a profiled cost model to adapt verification depth online. Across the Hy3 series, DFly raises the average accepted length on Hy3-A21B by roughly 30% and attains the highest average throughput at every tested concurrency from 4 to 64, a 1.98-2.40x speedup over autoregressive decoding and 10.5-11.8% higher throughput than DFlash. We release AngelSpec to support training and extending these methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.25852v2제출 시각 미확인
  2. arXiv:2607.25852v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.