arXiv:2010.10694

An Investigation of the Relation Between Grapheme Embeddings and Pronunciation for Tacotron-based Systems

Antoine Perquin, Erica Cooper, Junichi Yamagishi

제출 2020-10-21

원문 초록

End-to-end models, particularly Tacotron-based ones, are currently a popular solution for text-to-speech synthesis. They allow the production of high-quality synthesized speech with little to no text preprocessing. Indeed, they can be trained using either graphemes or phonemes as input directly. However, in the case of grapheme inputs, little is known concerning the relation between the underlying representations learned by the model and word pronunciations. This work investigates this relation in the case of a Tacotron model trained on French graphemes. Our analysis shows that grapheme embeddings are related to phoneme information despite no such information being present during training. Thanks to this property, we show that grapheme embeddings learned by Tacotron models can be useful for tasks such as grapheme-to-phoneme conversion and control of the pronunciation in synthetic speech.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.12311v4cs.CL공통 태그 Speech Synthesis, Text to Speech, Grapheme-to-Phoneme Conversion

Phonikud: 히브리어 텍스트 음성 변환을 위한 음운적 미지정 극복

Phonikud: Overcoming Phonetic Underspecification for Hebrew Text-To-Speech

현대 히브리어를 위한 텍스트 음성 변환(TTS)은 언어의 표기 체계 복잡성으로 인해 어려움을 겪으며, 기존 솔루션은 강세와 같은 미지정 음운적 특징을 무시합니다. 우리는 네 가지 기여를 통해 음운적으로 더 정확한 히브리어 TTS를 위한 프레임워크를 제시합니다: (1) Phonikud, 기본 부호 추가기(diacritizer)를 확장하여 설계된, 완전히 명시된 국제 음성 기호(IPA) 전사를 출력하는 오픈 소스 히브리어 문자소-음소 변환(G2P) 시스템. (2) 히브리어 오디오, 텍스트 및 전문가 IPA 주석이 쌍으로 구성된 ILSpeech 말뭉치(corpus). (3) 이전에 측정되지 않았던 히브리어 G2P 변환 작업을 위한 벤치마크. (4) 자동 TTS 평가를 위해 이전에 간과되었던 음운적 세부 사항을 포착하는 히브리어 오디오-IPA 모델. 우리의 결과는 Phonikud가 이전 방법보다 히브리어 음소를 더 정확하게 예측하며, Phonikud의 음운 입력을 사용하는 소형 로컬 TTS 모델이 대형 독점 시스템에 근접하는 성능을 보임을 보여줍니다. 우리는 https://phonikud.github.io에서 코드, 데이터, 모델을 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.