DNeo: 병렬 드래프트 모델에는 더 나은 타깃 특징 인코딩이 필요하다
DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding
한국어 초록
추측적 확산 디코딩(speculative-diffusion decoding)은 작은 병렬 드래퍼 모델을 사용하여 한 번의 순전파로 b개의 드래프트 토큰을 생성하고, 이를 더 큰 타깃 모델이 병렬로 검증한다. 여러 드래프트 토큰이 동시에 검증을 통과하면 추론 속도가 빨라질 수 있다. 최근의 병렬 드래프트 아키텍처(DFlash, DSpark)는 특징 인코딩이라는 메커니즘을 통해 타깃이 계산한 풍부한 특징을 조건으로 사용하여 드래프트 품질을 개선한다. 그러나 표준 특징 인코딩 메커니즘에는 세 가지 한계가 있다. (1) 손실이 있어, 우리가 발견한 잔차 혼합(residual mixing)이라는 효과를 통해 기저의 타깃 특징 공간을 훼손하는 인코딩 투영을 적용한다. (2) 기억이 없어, 이전에 처리한 제안에 대한 기록이 없다. (3) 타깃 계층 전반에서 균일하게 샘플링한 특징을 사용하여 중요한 은닉 상태를 누락한다. 이러한 문제를 해결하기 위해, 이전에 거부된 제안을 인코딩하는 작업 기억을 갖춘 경량 특징 인코딩 방식인 Mixture-of-Features Attention(MoFA)을 제안한다. MoFA, 거부 기억, 그리고 2-탭 인과 합성곱, 프리픽스 전용 교차 어텐션, 비균일 타깃 계층 선택을 포함한 추가 개선 사항들을 활용한 최종 아키텍처 DNeo는 드래퍼 규모나 생성 품질에 영향을 주지 않으면서 SoTA(DFlash-2)보다 1.3배 빠른 생성 속도를 달성한다. DNeo는 고품질 고속 LLM 추론에서 새로운 최고 수준을 제시한다.
원문 초록
Speculative-diffusion decoding uses a small parallel drafter model to generate b draft tokens in one forward pass, which then undergo parallel verification via a larger target model. Faster inference can be achieved when multiple draft tokens pass verification simultaneously. Recent parallel draft architectures (DFlash, DSpark) improve draft quality by conditioning on rich features computed by the target, through a mechanism known as feature encoding. However, standard feature encoding mechanisms have three limitations: (1) they are lossy, applying encoding projections that are destructive to the underlying target feature-space via a discovered effect known as residual mixing, (2) they are memory-less, with no record of previously processed proposals, and (3) they utilize features sampled uniformly from across the target layers, omitting important hidden states. To address these issues, we propose Mixture-of-Features Attention (MoFA), a lightweight feature-encoding approach equipped with a working memory that encodes previously rejected proposals. Leveraging MoFA, rejection memory, and a set of further enhancements, including 2-tap causal convolutions, prefix-only cross-attention, and non-uniform target layer selection, the final architecture, DNeo, achieves 1.3x faster generation speed than SoTA (DFlash-2) without impacting drafter footprint or generation quality. DNeo marks a new state of the art in high quality, fast LLM inference.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21925v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.