arXiv:2611.24301v1 cs.CL

LoopCache: 루프형 트랜스포머를 위한 장문맥 자기 추측 디코딩 가속

LoopCache: Accelerating Long-Context Self-Speculative Decoding for Looped Transformers

Zizhuo Fu, Haochen Huang, Shengxuan Qiu, Linye Wei, Ziyu Tang, Runsheng Wang, Meng Li

제출 2026-11-19

한국어 초록

루프형 트랜스포머는 가중치를 공유하는 블록을 R번의 순환 단계에 걸쳐 반복 적용하여 작은 모델로 큰 유효 깊이를 달성하며, 각 단계는 루프별 키-값(KV) 캐시를 유지한다. 순차적 루프 실행을 가속하기 위해, WaveFront Decoding(WFD)과 LoopSpec 같은 최근의 웨이브 방식 자기 추측 기법은 초안 토큰과 대상 토큰을 한 단계에서 루프 간에 파이프라인한다. 그러나 이들은 두 가지 중대한 한계를 지닌다. 첫째, 고정된 루프에서만 초안을 작성하며 중간 예측 변화를 무시하여 낡은 궤적에 연산을 낭비한다. 둘째, 서로 다른 루프의 토큰을 배치로 묶으면 단계마다 최대 R배의 KV 캐시를 적재하여 장문맥 시나리오에서 메모리 트래픽을 심하게 증폭시킨다. 이러한 과제를 해결하기 위해 장문맥 루프형 트랜스포머를 위한 효율적인 자기 추측 디코딩 프레임워크 LoopCache를 제안한다. 예측 전환과 출력 신뢰도 사이의 상관관계에 기반하여, LoopCache는 신뢰도 기반 동적 초안 갱신을 도입해 모든 중간 루프에서 진행 중인 초안을 개선한다. 또한 LoopCache는 루프별 KV 캐시를 순환하며 사용하는 순환형 루프 KV 캐시 전략을 채택하여, 무손실 검증을 위해 가장 가까운 일치 주기에서 토큰을 배치로 묶으면서도 단계별 KV 트래픽을 단일 루프로 제한한다. 루프에 민감한 몇몇 얕은 층에 대해서는 독립적인 KV 캐시를 선택적으로 유지함으로써, LoopCache는 무시할 만한 오버헤드로 수용률을 높인다. 실험 결과 LoopCache는 WFD 및 LoopSpec 대비 평균 10.25배와 14.56배의 속도 향상을 달성한다.

원문 초록

Looped Transformers achieve large effective depth with compact models by repeatedly applying a weight-shared block across R recurrent steps, each maintaining a loop-specific key-value (KV) cache. To accelerate sequential loop execution, recent wave-style self-speculative methods like WaveFront Decoding (WFD) and LoopSpec pipeline draft and target tokens across loops in a single step. However, they face two critical limitations. First, they draft only at fixed loops and ignore intermediate prediction changes, wasting computation on stale trajectories. Second, batching tokens from different loops loads up to Rx the KV cache per step, severely amplifying memory traffic in long-context scenarios. To address these challenges, we propose LoopCache, an efficient self-speculative decoding framework for long-context Looped Transformers. Based on the correlation between prediction switches and output confidence, LoopCache introduces confidence-guided dynamic draft updating to refine drafts in flight across all intermediate loops. Furthermore, LoopCache employs a cyclic loop KV cache strategy that rotates through loop-specific KV caches, restricting per-step KV traffic to a single loop while batching tokens at the nearest matching cycle for lossless verification. By also selectively retaining independent KV caches for a few loop-sensitive shallow layers, LoopCache improves acceptance rates with negligible overhead. Experiments show that LoopCache achieves average 10.25x and 14.56x speedup over WFD and LoopSpec.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24301v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.