arXiv:2606.18967v2 cs.LG

EfficientRollout: 강화학습 롤아웃을 위한 시스템 인식 자체 투기적 디코딩

EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts

Minseo Kim, Minjae Lee, Seunghyuk Oh, Kevin Galim, Donghoon Kim, Coleman Hooper, Harman Singh, Amir Gholami, Hyung Il Koo, Wonjun Kang

제출 2026-06-17

저자 비고

arXiv Comments

Accepted to NeurIPS 2026; Project Page: https://github.com/furiosa-ai/EfficientRollout

한국어 초록

강화학습(RL)은 대규모 언어 모델(LLM)의 대표적인 사후 학습(post-training) 패러다임으로 자리 잡아 강력한 추론 및 에이전트 역량을 가능하게 하고 있습니다. 그러나 자기회귀(AR) 샘플링은 응답을 순차적으로 디코딩하고 소수의 긴 꼬리(long-tailed) 생성이 완료 시간을 결정하는 경우가 많기 때문에, 롤아웃(rollout) 생성은 여전히 주요한 지연 시간 병목으로 남아 있습니다. 투기적 디코딩(SD)은 고정된 LLM 서빙을 위해 잘 확립된 기법으로, 타깃 모델 분포를 보존하면서 토큰을 빠르게 초안 작성(drafting)하고 병렬 검증을 통해 이를 수락함으로써 지연 시간을 줄입니다. 그러나 이러한 실질적인 속도 향상은 RL 롤아웃에 직접적으로 이어지지 않습니다. 그 이유는 (i) 진화하는 타깃 정책으로 인해 고정된 초안 작성기(drafter)는 정책의 출력 분포와 점차 불일치하게 되며, (ii) 롤아웃 디코딩 전반에 걸쳐 활성 배치(batch) 크기가 줄어들면서 병렬 검증이 유휴 연산 자원을 활용할 수 있는 연산 바운드(compute-bound) 영역에서 메모리 바운드(memory-bound) 영역으로 디코딩 양상이 전환되기 때문입니다. 따라서 RL 롤아웃을 가속화하려면 진화하는 정책의 긴 고온(high-temperature) 생성 환경에서도 효과를 유지하는 초안 작성기와, 연산 바운드 영역을 회피하는 시스템 인식 SD 활용이 모두 필요합니다. 본 논문에서는 RL 롤아웃의 이러한 격차를 해결하기 위해 설계된 시스템 인식 자체 SD 프레임워크인 EfficientRollout을 제안합니다. EfficientRollout은 타깃 모델로부터 양자화된 초안 작성기를 유도(즉, 자체 투기적 디코딩)하여 별도의 초안 작성기 사전학습이나 온라인 적응 없이도 진화하는 정책에 결합된 상태를 유지합니다. 또한 시스템 인식 SD 전환 정책을 수락 인식 초안 길이 적응과 조율하여, 유리한 영역에서만 투기를 활성화하는 동시에 초안 작성 예산을 진화하는 초안 작성기 품질에 맞춥니다. EfficientRollout은 최종 모델 품질을 보존하면서 가속화된 AR 롤아웃 기준선 대비 롤아웃 및 엔드투엔드 지연 시간을 각각 최대 24.2%와 15.6% 단축합니다.

원문 초록

Reinforcement learning (RL) has become a representative post-training paradigm for large language models (LLMs), enabling strong reasoning and agentic capabilities. However, rollout generation remains a dominant latency bottleneck because autoregressive (AR) sampling decodes responses sequentially and a small number of long-tailed generations often determine completion time. Speculative decoding (SD) is a well-established technique for serving fixed LLMs that reduces latency by rapidly drafting tokens and accepting them through parallel verification while preserving the target-model distribution. However, its practical speedups do not directly carry over to RL rollouts: (i) the evolving target policy makes any fixed drafter increasingly mismatched with the policy's output distribution; and (ii) active batch sizes shrink throughout rollout decoding, shifting decoding from compute-bound to memory-bound regimes where parallel verification can exploit underutilized compute. Therefore, accelerating RL rollouts requires both a drafter that remains effective under long, high-temperature generations from an evolving policy and system-aware use of SD that avoids compute-bound regimes. We present EfficientRollout, a system-aware self-SD framework designed to address this gap for RL rollouts. EfficientRollout induces a quantized drafter from the target model (i.e. self-speculative decoding), keeping it coupled to the evolving policy without separate drafter pretraining or online adaptation. It further coordinates a system-aware SD toggle policy with acceptance-aware draft-length adaptation, enabling speculation only in beneficial regimes while matching the drafting budget to evolving drafter quality. EfficientRollout reduces rollout and end-to-end latency by up to 24.2% and 15.6%, respectively, over an accelerated AR rollout baseline, while preserving final model quality.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18967v2
  2. arXiv:2606.18967v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13778v1cs.LG공통 태그 Quantization, Computational Efficiency, speculative decoding

ReplaySSM: 상태 대신 SSM 입력 캐싱하기

ReplaySSM: Cache SSM Inputs, Not State

상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.

arXiv:2610.13708v1cs.AI공통 태그 Computational Efficiency, speculative decoding

Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.

arXiv:2610.10630v1cs.LG공통 태그 Quantization, Computational Efficiency

Phase-HDC: 이산 위상 학습에서 옵티마이저 히스토리를 그래디언트 임계값으로 대체하기

Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning

컴팩트한 모델을 학습(training)할 때는 종종 모델 저장보다 훨씬 더 많은 메모리가 필요한데, 이는 옵티마이저(optimizer)가 과거 그래디언트(gradient)의 자체 기록을 유지하기 때문입니다. 학습된 매개변수(parameter)가 저비트 각도인 초차원 분류기(hyperdimensional classifier)의 경우(이를 위상 메모리(\emph{phase memory})라 부름), 이러한 기록은 모델 자체보다 몇 배 더 많은 메모리를 차지합니다. 본 연구에서는 오직 모델 자체만을 저장하면서도 이러한 모델을 학습시킬 수 있는지 질문을 던집니다. 제안하는 방법인 Phase-HDC는 현재 그래디언트의 부호와 반대 방향으로, 그리고 해당 그래디언트가 충분히 클 때에만 업데이트당 저장된 각도를 최대 한 단계씩 회전시킵니다. 우리는 이 단순한 규칙이 변경된 모든 매개변수가 고정 비용을 지불하는 1차 손실(loss) 모델의 정확한 해임을 보여줍니다. 업데이트 규칙을 제외한 모든 조건을 동일하게 유지했을 때, Phase-HDC는 6비트 모멘텀을 사용하는 Adam과 동등한 정확도를 유지하면서도 3배 적은 저장 공간을 사용합니다. 11개의 이미지, 테이블형, 텍스트 데이터셋에 걸쳐, 이 방법은 표준 float32 Adam보다 16~23배, 8비트 Adam보다 4~6배 적은 저장 공간을 차지합니다. 이에 따른 대가는 float32 Adam 대비 평균 약 5%p의 정확도 손실이지만, Phase-HDC는 8비트 Adam이 붕괴하는 바이트 수준 텍스트 예측을 포함하여 11개 데이터셋 중 6개에서 8비트 Adam보다 더 높은 정확도를 달성합니다. 계측된 학습 실행 분석은 이러한 결과를 설명해 줍니다. 매개변수가 이산적인 그리드 상에 위치해야 하는 경우, Adam의 모멘텀은 주로 매개변수가 조금이라도 움직일지 여부만을 결정하게 되며, 이는 현재 그래디언트에 대한 임계값을 통해 메모리 없이도 내릴 수 있는 결정입니다. 또한 모멘텀의 거친 양자화(quantization)는 데이터에 드물게 포함된 입력에 대해 이러한 결정을 망가뜨립니다. 저장 공간 절감은 측정된 하드웨어 메모리가 아닌 논리적 상태 기준입니다.

arXiv:2610.10929v1cs.CR공통 태그 Computational Efficiency, speculative decoding

스피드범프: 투기적 디코딩에 대한 거절 공격

Speedbumps: Rejection Attacks on Speculative Decoding

투기적 디코딩(Speculative decoding)은 단일 타깃 모델 순전파에서 여러 초안 토큰을 검증함으로써 대규모 언어 모델(LLM) 추론 속도를 높이고 비용을 줄이는 널리 사용되는 기법이다. 이로부터 얻는 이점은 초안 모델(drafter)이 타깃 모델의 분포를 얼마나 잘 근사하는지에 달려 있다. 본 연구에서는 초안 모델과 타깃 모델 간의 불일치를 더 자주 유발하여 초안 주기당 수락되는 초안 토큰 수를 줄이는 새로운 공격군인 투기적 거절 공격(Speculative Rejection Attacks, SRA)을 연구한다. 이는 생성된 토큰당 필요한 타깃 모델의 순전파 횟수를 늘려 피해자의 추론 속도를 늦추고 비용을 증가시킨다. 우리는 공격자가 제어하는 콘텐츠에 적대적 접미사를 추가하여 피해자 프롬프트에 대한 투기적 디코딩 성능을 저하시키는 두 가지 공격을 소개한다. 두 공격 모두 수락되는 투기적 접두 문맥의 기대 길이를 최적화하며, 초안 제안에 대한 타깃 모델의 확률로부터 깊이별 수락률을 추정하거나(Speedbump-P), 초안과 타깃 분포 간의 중첩 정도로부터 추정한다(Speedbump-D). 일부 경우에서 이러한 공격은 투기적 디코딩 속도를 자기회귀 디코딩보다 느려지는 수준까지 저하시킨다. 성능 저하 시 출력 품질이 감소하는데, 정규화(regularisation)를 적용하면 출력 품질은 복원되지만 성능 저하 효과 대부분을 포기하게 되어 은밀성과 효과성 사이의 트레이드오프가 발생한다. 또한 적대적 접미사는 샘플링 환경에서도 유효성을 유지하며, 초안 모델 간(Speedbump-P) 또는 초안 모델을 공유하는 타깃 모델 간(Speedbump-D)에 전이된다. 이러한 발견은 투기적 디코딩의 초안-타깃 상호작용이 적대적 입력을 통해 추론 비용을 부풀릴 수 있는 실질적인 공격 표면임을 보여준다.

arXiv:2610.10933v1cs.LG공통 태그 Quantization, Computational Efficiency

스파이킹 언어 모델에서 시간적 인코딩과 비선형 연산 간의 트레이드오프 재고

Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models

스파이킹 언어 모델(Spiking language models)은 짧은 시간 윈도우에서 연속적인 의미적 특징을 표현하는 것과 비용이 많이 드는 비선형 어텐션(attention) 연산을 유지하는 것 사이의 트레이드오프에 직면합니다. 본 논문에서는 스파이크 인코딩과 어텐션 연산자를 공동 설계하는 Spora를 제안합니다. 이진 시간 가중치(binary temporal weights)를 통해 $T$개의 스파이크가 최대 $T$ 비트의 용량으로 구성적 값(compositional values)을 표현할 수 있도록 하며, 이는 스파이크 수 판독(spike-count readout)의 $O(\log_2 T)$ 비트와 대비됩니다. 단극성 이진 스파이킹(Unipolar Binary Spiking, UBS)은 임계값과 스파이크 트리거 잔차 감쇠를 사용하여 음이 아닌 정수 코드를 생성하고, 양극성 이진 스파이킹(Bipolar Binary Spiking, BBS)은 부호와 크기를 분리하며 부호화된 활성화에 대한 스케일을 학습합니다. 이러한 표현은 어텐션에서 누적 및 시프트(accumulation-and-shift) 내적과 정수 지수 매핑을 지원합니다. 4개 타임스텝에서 Spora는 평균 GLUE 점수 76.6점과 CoLA MCC 44.1점을 달성하여 SpikeLM 대비 각각 1.2점 및 6.2점 향상되었습니다. BBS를 6개 스텝으로 확장하면 이 점수는 각각 78.2점과 47.4점으로 상승합니다. 조건부 감쇠 분석, 예산 일치 활성화 양자화(quantization) 비교, 이벤트 워크로드 통계, 고정소수점 평가를 통해 인코딩 충실도와 계산 비용 간의 관계를 추가로 규명합니다.

arXiv:2610.02800v2cs.AI공통 태그 Quantization, speculative decoding

BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.