arXiv:2109.13675

FlowVocoder: A small Footprint Neural Vocoder based Normalizing flow for Speech Synthesis

Manh Luong, Viet Anh Tran

제출 2021-09-27

원문 초록

Recently, autoregressive neural vocoders have provided remarkable performance in generating high-fidelity speech and have been able to produce synthetic speech in real-time. However, autoregressive neural vocoders such as WaveFlow are capable of modeling waveform signals from mel-spectrogram, its number of parameters is significant to deploy on edge devices. Though NanoFlow, which has a small number of parameters, is a state-of-the-art autoregressive neural vocoder, the performance of NanoFlow is marginally lower than WaveFlow. Therefore, we propose a new type of autoregressive neural vocoder called FlowVocoder, which has a small memory footprint and is capable of generating high-fidelity audio in real-time. Our proposed model improves the density estimation of flow blocks by utilizing a mixture of Cumulative Distribution Functions (CDF) for bipartite transformation. Hence, the proposed model is capable of modeling waveform signals, while its memory footprint is much smaller than WaveFlow. As shown in experiments, FlowVocoder achieves competitive results with baseline methods in terms of both subjective and objective evaluation, also, it is more suitable for real-time text-to-speech applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Synthesis, text-to-speech, Text to Speech

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2606.11681v2cs.CL공통 태그 Speech Synthesis, text-to-speech, Text to Speech

UR-BERT: 보편적 로마자 표기와 음성 토큰 예측을 통한 대규모 다국어 텍스트 음성 변환을 위한 텍스트 인코더 확장

UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction

우리는 대규모 다국어 텍스트 음성 변환(TTS) 시스템을 위한 로마자 표기 기반의 텍스트 음성 변환(TTS) 인코더인 UR-BERT를 제안합니다. 기존의 문자소-음소 변환(G2P) 기반 접근법은 신뢰할 수 있는 G2P 리소스의 가용성으로 인해 약 100개 언어로 제한됩니다. 이와 대조적으로, UR-BERT는 다양한 문자 체계를 공유된 로마자 표기 표현으로 통합하여 495개 언어로 확장할 수 있습니다. 음성적 충실도와 텍스트-음성 정렬을 더욱 향상시키기 위해, 우리는 학습(training) 중에 음성 토큰 예측 목적 함수를 도입하여, 인코더가 데이터 효율적인 방식으로 음성 인지형 음성학적 표현을 학습하도록 유도합니다. 실험 결과, UR-BERT로 구축된 TTS 시스템은 다양한 언어 및 리소스 조건에서 최근 텍스트 인코더 기준 모델들을 지속적으로 능가하며, 보이지 않는 언어에 대한 강력한 일반화 능력을 입증했습니다.

arXiv:2607.09134v1cs.SD공통 태그 Speech Synthesis, text-to-speech

ReGen: 효율적인 파형 확산 모델을 위한 계층적 다중 프롬프트 표현 생성

ReGen: Hierarchical Multi-Prompt Representation Generation for Efficient Waveform Diffusion Models

표현 정렬(REPA)은 확산 학습을 가속화하기 위해 연구되어 왔으나, 확산 트랜스포머(DiT)의 중간 표현을 정규화하면 잠재 변수가 암묵적으로 얽히고 생성 용량이 제한될 수 있음을 관찰하였다. 이 문제를 해결하기 위해, 단일 확산 모델 내에서 표현과 데이터 모두에 대한 다중 벡터 필드를 공동으로 추정하는 계층적 다중 프롬프트 표현 생성 프레임워크인 ReGen을 제안한다. 또한 조건부 흐름 매칭(CFM)의 일반화를 향상시키기 위해 일반화된 흐름 매칭(GFM)을 도입한다. 신경 오디오 코덱과 Wave-VAE를 포함한 단일 단계 파형 확산 모델에서 ReGen을 검증한다. ReGen은 12.5 Hz에서 고도로 압축된 잠재 표현으로부터의 파형 생성 품질을 크게 향상시킨다. 또한 소규모 데이터셋으로 강력한 음성 명료도(WER)와 화자 유사도(SIM)를 달성하는 잠재 확산 모델(LDM) 기반 텍스트 음성 변환 모델인 ReGenVoice를 소개한다. 더불어, 풍부한 의미적·음향적 잠재 표현으로 6.25 Hz에서 LDM을 운용함으로써 효율적인 학습과 샘플링이 가능하며, 4개의 GPU로 단 1일의 학습만 필요하고 RTF 0.08의 빠른 추론을 제공한다. 오디오 샘플은 https://regenvoice.github.io/demo/ 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.