투기적 사전 포지셔닝: 크리티컬 패스 외부에서 상태 유지 세션을 다음 결정 지점까지 디코딩
Speculative Pre-Positioning: Decoding Stateful Sessions to the Next Decision Point Off the Critical Path
무상태 추론 서버의 요청 사이 유휴 시간을 활용해 드래프트 모델 없이 대상 모델의 순전파로 세션을 다음 결정 지점까지 미리 디코딩하는 투기적 사전 포지셔닝(Speculative Pre-Positioning)을 제안하며, 신뢰도 게이트가 발화할 경우 디코딩 없이 캐시된 분포에서 단일 토큰을 반환해 첫 토큰 지연을 39ms에서 약 1.0ms로 약 40배 단축한다.