arXiv:2308.15945

The DeepZen Speech Synthesis System for Blizzard Challenge 2023

Christophe Veaux, Ranniery Maia, Spyridoula Papandreou

제출 2023-08-30

원문 초록

This paper describes the DeepZen text to speech (TTS) system for Blizzard Challenge 2023. The goal of this challenge is to synthesise natural and high-quality speech in French, from a large monospeaker dataset (hub task) and from a smaller dataset by speaker adaptation (spoke task). We participated to both tasks with the same model architecture. Our approach has been to use an auto-regressive model, which retains an advantage for generating natural sounding speech but to improve prosodic control in several ways. Similarly to non-attentive Tacotron, the model uses a duration predictor and gaussian upsampling at inference, but with a simpler unsupervised training. We also model the speaking style at both sentence and word levels by extracting global and local style tokens from the reference speech. At inference, the global and local style tokens are predicted from a BERT model run on text. This BERT model is also used to predict specific pronunciation features like schwa elision and optional liaisons. Finally, a modified version of HifiGAN trained on a large public dataset and fine-tuned on the target voices is used to generate speech waveform. Our team is identified as O in the the Blizzard evaluation and MUSHRA test results show that our system performs second ex aequo in both hub task (median score of 0.75) and spoke task (median score of 0.68), over 18 and 14 participants, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Synthesis, text-to-speech, Text to Speech

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2506.12311v4cs.CL공통 태그 Speech Synthesis, text-to-speech, Text to Speech

Phonikud: 히브리어 텍스트 음성 변환을 위한 음운적 미지정 극복

Phonikud: Overcoming Phonetic Underspecification for Hebrew Text-To-Speech

현대 히브리어를 위한 텍스트 음성 변환(TTS)은 언어의 표기 체계 복잡성으로 인해 어려움을 겪으며, 기존 솔루션은 강세와 같은 미지정 음운적 특징을 무시합니다. 우리는 네 가지 기여를 통해 음운적으로 더 정확한 히브리어 TTS를 위한 프레임워크를 제시합니다: (1) Phonikud, 기본 부호 추가기(diacritizer)를 확장하여 설계된, 완전히 명시된 국제 음성 기호(IPA) 전사를 출력하는 오픈 소스 히브리어 문자소-음소 변환(G2P) 시스템. (2) 히브리어 오디오, 텍스트 및 전문가 IPA 주석이 쌍으로 구성된 ILSpeech 말뭉치(corpus). (3) 이전에 측정되지 않았던 히브리어 G2P 변환 작업을 위한 벤치마크. (4) 자동 TTS 평가를 위해 이전에 간과되었던 음운적 세부 사항을 포착하는 히브리어 오디오-IPA 모델. 우리의 결과는 Phonikud가 이전 방법보다 히브리어 음소를 더 정확하게 예측하며, Phonikud의 음운 입력을 사용하는 소형 로컬 TTS 모델이 대형 독점 시스템에 근접하는 성능을 보임을 보여줍니다. 우리는 https://phonikud.github.io에서 코드, 데이터, 모델을 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.