arXiv:1912.02461

Towards Robust Neural Vocoding for Speech Generation: A Survey

Po-chun Hsu, Chun-hsuan Wang, Andy T. Liu, Hung-Yi Lee

제출 2019-12-05

원문 초록

Recently, neural vocoders have been widely used in speech synthesis tasks, including text-to-speech and voice conversion. However, when encountering data distribution mismatch between training and inference, neural vocoders trained on real data often degrade in voice quality for unseen scenarios. In this paper, we train four common neural vocoders, including WaveNet, WaveRNN, FFTNet, Parallel WaveGAN alternately on five different datasets. To study the robustness of neural vocoders, we evaluate the models using acoustic features from seen/unseen speakers, seen/unseen languages, a text-to-speech model, and a voice conversion model. We found out that the speaker variety is much more important for achieving a universal vocoder than the language. Through our experiments, we show that WaveNet and WaveRNN are more suitable for text-to-speech models, while Parallel WaveGAN is more suitable for voice conversion applications. Great amount of subjective MOS results in naturalness for all vocoders are presented for future studies.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Synthesis, text-to-speech, Text to Speech

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.02633v1cs.LG공통 태그 Voice Conversion, Speech Synthesis, text-to-speech

GRAFT: 제로샷 텍스트 음성 변환에서 세밀한 발음을 위한 접목된 참조 오디오

GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech

본 논문에서는 텍스트 음성 변환(text-to-speech) 신경망 코덱 언어 모델링을 위한 단어 단위 발음 컨디셔닝 메커니즘인 GRAFT를 제안한다. 기존 시스템들은 높은 명료성과 자연스러움을 달성하지만 텍스트의 모호성을 그대로 물려받아 희귀한 고유명사, 외래어, 전문 용어를 잘못 발음하는 경향이 있다. 음소 조건부 모델조차도 단어별 발음에 대한 직접적인 음향적 제어 수단을 제공하지 않는다. GRAFT는 짧은 발화 샘플에서 선택한 단어의 발음을 제어하는데, 이 샘플은 모델 자체의 음성 토크나이저로 인코딩되어 프롬프트(prompt) 내 해당 단어의 위치에 바인딩된다. 학습(training) 데이터 구성 과정에서 음성 변환을 적용하여 힌트 화자와 목표 화자를 분리함으로써, 힌트는 임의의 음성에서 가져오더라도 출력은 목표 화자의 음성을 유지한다. 영어 블라인드 청취 실험에서 인간 평가자들은 GRAFT를 명확한 마진(margin)으로 1위로 선택하였으며, 어려운 단어의 렌더링이 해당 단어의 참조 녹음에 가장 가깝다고 평가하였다. 5개 언어 객관적 벤치마크에서 GRAFT는 동일한 텍스트 전용 백본 대비 목표 단어 음소 오류율을 22–39% 감소시키며, 음소 조건부 및 텍스트 조건부 방식을 포함한 경쟁력 있는 오픈소스 제로샷 시스템들을 목표 단어 발음 측면에서 능가하는 동시에 화자 유사성과 자연스러움을 유지한다.

arXiv:2606.27380v1cs.CL공통 태그 Survey, Speech Synthesis, text-to-speech

자동화된 발표 코칭 서베이: 시스템, 방법, 미해결 과제

A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges

구두 발표에 대한 자동 코칭은 컴퓨터 보조 발음 학습(CAPT), 운율(prosody) 모델링, 음성 합성(speech synthesis)의 교차점에 있지만, 기존 연구 중 이러한 차원을 따라 기존 시스템을 체계적으로 조사하고 비교한 것은 없다. 본 서베이는 발음 튜터, 유창성 및 운율 코치, 멀티모달 트레이너, 학회 Q&A 연습 도구에 이르는 자동화된 발표 코칭 시스템을 검토하고 분류한다. 우리는 분절(segmental) 발음, 어휘 강세(lexical stress), 초분절(suprasegmental) 운율, 진행 속도(pacing), 내용 충실성(content faithfulness)을 포괄하는 5차원 과제 분류 체계를 제안하고, 조사한 시스템을 이에 명시적으로 매핑하여 커버리지 공백을 드러낸다. 또한 이러한 시스템이 사용하는 핵심 기술적 방법—발음, 운율, 유창성 평가를 위한 TTS 기반 모범 음성(exemplar) 생성 및 진단 방법—을 검토한다. 주요 미해결 과제로는 주석이 달린 발표 코퍼스의 부족, 다양한 모국어(L1) 배경에 걸친 억양 공정(accent-fair) 피드백 달성, 실시간 리허설을 위한 저지연 진단 제공 등이 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.