EfficientRollout: 강화학습 롤아웃을 위한 시스템 인식 자체 투기적 디코딩
EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts
강화학습(RL)은 대규모 언어 모델(LLM)의 대표적인 사후 학습(post-training) 패러다임으로 자리 잡아 강력한 추론 및 에이전트 역량을 가능하게 하고 있습니다. 그러나 자기회귀(AR) 샘플링은 응답을 순차적으로 디코딩하고 소수의 긴 꼬리(long-tailed) 생성이 완료 시간을 결정하는 경우가 많기 때문에, 롤아웃(rollout) 생성은 여전히 주요한 지연 시간 병목으로 남아 있습니다. 투기적 디코딩(SD)은 고정된 LLM 서빙을 위해 잘 확립된 기법으로, 타깃 모델 분포를 보존하면서 토큰을 빠르게 초안 작성(drafting)하고 병렬 검증을 통해 이를 수락함으로써 지연 시간을 줄입니다. 그러나 이러한 실질적인 속도 향상은 RL 롤아웃에 직접적으로 이어지지 않습니다. 그 이유는 (i) 진화하는 타깃 정책으로 인해 고정된 초안 작성기(drafter)는 정책의 출력 분포와 점차 불일치하게 되며, (ii) 롤아웃 디코딩 전반에 걸쳐 활성 배치(batch) 크기가 줄어들면서 병렬 검증이 유휴 연산 자원을 활용할 수 있는 연산 바운드(compute-bound) 영역에서 메모리 바운드(memory-bound) 영역으로 디코딩 양상이 전환되기 때문입니다. 따라서 RL 롤아웃을 가속화하려면 진화하는 정책의 긴 고온(high-temperature) 생성 환경에서도 효과를 유지하는 초안 작성기와, 연산 바운드 영역을 회피하는 시스템 인식 SD 활용이 모두 필요합니다. 본 논문에서는 RL 롤아웃의 이러한 격차를 해결하기 위해 설계된 시스템 인식 자체 SD 프레임워크인 EfficientRollout을 제안합니다. EfficientRollout은 타깃 모델로부터 양자화된 초안 작성기를 유도(즉, 자체 투기적 디코딩)하여 별도의 초안 작성기 사전학습이나 온라인 적응 없이도 진화하는 정책에 결합된 상태를 유지합니다. 또한 시스템 인식 SD 전환 정책을 수락 인식 초안 길이 적응과 조율하여, 유리한 영역에서만 투기를 활성화하는 동시에 초안 작성 예산을 진화하는 초안 작성기 품질에 맞춥니다. EfficientRollout은 최종 모델 품질을 보존하면서 가속화된 AR 롤아웃 기준선 대비 롤아웃 및 엔드투엔드 지연 시간을 각각 최대 24.2%와 15.6% 단축합니다.