VoxServe: 음성 언어 모델을 위한 스트리밍 중심 서빙 시스템
VoxServe: Streaming-Centric Serving System for Speech Language Models
한국어 초록
음성 언어 모델(SpeechLM)은 오디오 재생이 신속히 시작되어야 하고 끊기지 않아야 하는 스트리밍 음성 생성에 점점 더 많이 배포되고 있다. 이를 서빙하려면 매우 다른 두 모델 구성 요소를 동일한 시스템에서 실행해야 한다. 자기회귀 LLM 백본은 오디오 토큰을 출력하고, 코덱은 그 토큰 묶음을 파형으로 변환한다. 기존 시스템은 두 구성 요소를 별도로 스케줄링되는 단계로 실행하므로, 이들을 직렬화하거나, 서로 간섭하게 하거나, 별도의 장치에 배치하여 용량을 낭비한다. 우리는 백본과 코덱을 GPU의 서로 다른 부분에서 중첩 실행하면 처리량이 향상됨을 관찰하였다. 이는 코덱 지연 시간을 증가시키지만, 그것이 첫 오디오까지의 시간(TTFA)의 임계 경로에 놓이지 않고 재생 끊김을 유발하지 않는 한 대부분의 청크는 이를 감내할 수 있다. 이러한 통찰에 기반하여, 우리는 청크의 긴급도에 따라 GPU 자원을 할당하는 SpeechLM 서빙 시스템 VoxServe를 제시한다. VoxServe는 세 개의 비동기 레인에서 작업을 실행한다. LM 레인은 GPU 스트리밍 멀티프로세서의 큰 파티션에서 백본을 실행하고, 백그라운드 코덱 레인은 그 옆의 작은 파티션에서 실행되며, 긴급 레인은 GPU 전체를 사용한다. 스케줄러는 각 요청을 LM 레인에 큐잉하고 백본이 완료한 모든 청크를 긴급도에 따라 라우팅한다. 요청의 첫 청크와 재생 마감 시한이 가까운 청크는 긴급 레인으로 가고, 나머지는 백그라운드 레인에서 배치 처리된다. Qwen3-TTS에서 VoxServe는 재생 끊김 없이 200ms TTFA 목표에서 기존 최고 시스템 대비 1.5배의 요청 처리율을 유지한다. VoxServe의 코드는 https://github.com/vox-serve/vox-serve 에서 확인할 수 있다.
원문 초록
Speech Language Models (SpeechLMs) are increasingly deployed for streaming speech generation, where audio playback must start quickly and never stall. Serving them requires running two very different model components on the same system. An autoregressive LLM backbone emits audio tokens, and a codec converts chunks of those tokens into waveforms. Existing systems run the two as separately scheduled stages, and therefore either serialize them, let them interfere, or strand capacity by placing them on separate devices. We observe that overlapping the backbone and the codec on separate parts of the GPU raises throughput. Although this increases codec latency, most chunks can tolerate it, as long as it neither lies on the critical path of time-to-first-audio (TTFA) nor causes a playback stall. Based on this insight, we present VoxServe, a SpeechLM serving system that allocates GPU resources according to the urgency of chunks. VoxServe executes work on three asynchronous lanes. The LM lane runs the backbone on a large partition of the GPU's streaming multiprocessors, the background codec lane runs on a small partition beside it, and the urgent lane uses the whole GPU. The scheduler queues each request to the LM lane and routes every chunk the backbone completes by its urgency. A request's first chunk and chunks close to their playback deadline go to the urgent lane, and the rest are batched on the background lane. On Qwen3-TTS, VoxServe sustains 1.5x the request rate of the best existing system at a 200ms TTFA target without playback stalls. The code of VoxServe is available at https://github.com/vox-serve/vox-serve.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.00269v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.