Efficient Incremental Text-to-Speech on GPUs
원문 초록
Incremental text-to-speech, also known as streaming TTS, has been increasingly applied to online speech applications that require ultra-low response latency to provide an optimal user experience. However, most of the existing speech synthesis pipelines deployed on GPU are still non-incremental, which uncovers limitations in high-concurrency scenarios, especially when the pipeline is built with end-to-end neural network models. To address this issue, we present a highly efficient approach to perform real-time incremental TTS on GPUs with Instant Request Pooling and Module-wise Dynamic Batching. Experimental results demonstrate that the proposed method is capable of producing high-quality speech with a first-chunk latency lower than 80ms under 100 QPS on a single NVIDIA A10 GPU and significantly outperforms the non-incremental twin in both concurrency and latency. Our work reveals the effectiveness of high-performance incremental TTS on GPUs.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
Faster IndexTTS-2: GPU에서 자기회귀 제로샷 텍스트 음성 변환 합성의 가속화 및 스트리밍
Faster IndexTTS-2: Accelerating and Streaming Autoregressive Zero-Shot Text-to-Speech Synthesis on GPUs
자기회귀 텍스트 음성 변환 모델은 높은 자연스러움을 달성하지만, 순차적 토큰 생성으로 인해 추론이 느려 낮은 지연 시간을 요구하는 프로덕션 애플리케이션에의 배포가 제한된다. IndexTTS-2는 GPT, flow-matching Diffusion Transformer, 보코더(vocoder)로 구성된 최첨단 자기회귀 TTS 모델이다. 높은 합성 품질에도 불구하고, 스트리밍이나 배치 처리 지원 없이는 추론 속도가 거의 실시간에 도달하지 못한다. 우리는 Faster IndexTTS-2를 제안한다. 이는 NVIDIA TensorRT와 TensorRT-LLM을 사용하여 GPU에서 프로덕션 배포를 위해 IndexTTS-2의 모든 신경망 구성 요소를 가속한다. Faster IndexTTS-2는 또한 지연 시간에 민감한 대화형 애플리케이션을 위한 스트리밍 합성과, GPU 활용률을 극대화하기 위한 모든 구성 요소에 걸친 배치 추론을 지원한다. 영어와 중국어 모두에 대한 Seed-TTS 벤치마크 실험에서, 자기회귀 GPT에서 최대 5.0× 속도 향상, 종단 간(end-to-end) 최대 3.6× 속도 향상을 보였으며, 단어 오류율(word error rate), 화자 유사도(speaker similarity), 자연스러움에서의 저하는 미미했다. 우리의 방법론은 GPU에서 유사한 자기회귀 음성 모델을 효율적으로 가속하는 실용적인 참고 자료를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.