음소 사후확률값(PPG)을 활용한 핀란드어 음성의 발음 교정
Pronunciation Editing for Finnish Speech using Phonetic Posteriorgrams
한국어 초록
제2언어(L2) 음성 합성은 L2 언어 학습 경험과 피드백 측면에서 잠재적으로 높은 가치를 지닙니다. 그러나 L2 음성 합성 데이터셋의 부족으로 인해 저자원 언어에 대한 L2 음성을 합성하기는 어렵습니다. 본 논문에서는 모국어 음성을 편집하여 L2 음성에 근사시키는 실용적인 솔루션을 제공하며, 텍스트 정렬(text alignment) 없이 단일 음소를 편집할 수 있는 확산(diffusion) 기반 다중 화자 음소 사후확률값-음성 변환 모델인 PPG2Speech를 제시합니다. 본 연구는 Matcha-TTS의 플로우 매칭(flow-matching) 디코더를 백본으로 사용하여 외부 화자 임베딩(speaker embedding) 및 피치를 조건으로 음소 사후확률값(PPG)을 멜 스펙트로그램(mel-spectrogram)으로 변환합니다. PPG2Speech는 분류기 없는 가이던스(Classifier-free Guidance, CFG)와 Sway Sampling을 통해 Matcha-TTS의 플로우 매칭 디코더 성능을 강화합니다. 또한 편집 효과를 측정하기 위해 편집된 PPG와 합성 음성에서 추출된 PPG 간의 정렬 일관성을 평가하는 새로운 과제 특화 객관적 평가 지표인 PAC(Phonetic Aligned Consistency)를 제안합니다. 약 60시간 분량의 데이터를 사용하여 저자원이자 표음성이 높은 언어인 핀란드어에서 제안 방법의 유효성을 검증합니다. TTS 기반 편집과 비교하여 자연스러움, 화자 유사도, 편집 효과를 비교하는 객관적 및 주관적 평가를 수행합니다. 소스 코드는 https://github.com/aalto-speech/PPG2Speech 에 공개되어 있습니다.
원문 초록
Synthesizing second-language (L2) speech is potentially highly valued for L2 language learning experience and feedback. However, due to the lack of L2 speech synthesis datasets, it is difficult to synthesize L2 speech for low-resourced languages. In this paper, we provide a practical solution for editing native speech to approximate L2 speech and present PPG2Speech, a diffusion-based multispeaker Phonetic-Posteriorgrams-to-Speech model that is capable of editing a single phoneme without text alignment. We use Matcha-TTS's flow-matching decoder as the backbone, transforming Phonetic Posteriorgrams (PPGs) to mel-spectrograms conditioned on external speaker embeddings and pitch. PPG2Speech strengthens the Matcha-TTS's flow-matching decoder with Classifier-free Guidance (CFG) and Sway Sampling. We also propose a new task-specific objective evaluation metric, the Phonetic Aligned Consistency (PAC), between the edited PPGs and the PPGs extracted from the synthetic speech for editing effects. We validate the effectiveness of our method on Finnish, a low-resourced, nearly phonetic language, using approximately 60 hours of data. We conduct objective and subjective evaluations of our approach to compare its naturalness, speaker similarity, and editing effectiveness with TTS-based editing. Our source code is published at https://github.com/aalto-speech/PPG2Speech.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
말조심하세요: 텍스트 조건화를 활용한 텍스트 인식 비디오-음성 합성
Watch Your Speech: Text-aware Video-to-Speech Synthesis with Textual Conditioning
비디오-음성 합성(Video-to-speech synthesis)은 음성학적 정확성을 보장하면서 소리가 없는 말하는 얼굴 비디오로부터 자연스러운 음성을 생성하는 것을 목표로 합니다. 이 작업의 근본적인 과제는 시각적 동역학만으로는 해당 발화를 고유하게 결정하기에 충분한 정보가 부족한 경우가 많은 내재적 일대다(one-to-many) 매핑 문제입니다. 이를 해결하기 위해, 본 논문에서는 시각적 모호성을 완화하기 위한 명시적 언어 단서로서 텍스트 조건화(textual conditioning)를 통합한 비디오-음성 합성 프레임워크인 Watch Your Speech(WYS)를 제안합니다. 제안하는 프레임워크는 텍스트 문맥을 비디오 시퀀스와 시너지 효과를 내며 통합하는 어텐션 기반 임베딩 융합 모듈과, 고충실도 음성 생성을 위한 조건부 플로우 매칭(flow matching) 목적 함수를 결합한 것이 특징입니다. LRS2 및 LRS3 데이터셋에 대한 광범위한 실험을 통해 WYS가 우수한 성능을 달성하여 경쟁력 있는 텍스트 정확도(WER)를 유지하면서 시청각 동기화(LSE-C/D)에서 새로운 최고 수준(SOTA)의 결과를 수립함을 입증합니다. 주관적 평가를 통해서도 본 모델이 인간에 가까운 자연스러움을 지닌 음성을 생성함을 확인하였으며, 내용 제어 비디오-음성 합성에서 텍스트 조건화의 효과를 입증합니다. 프로젝트 페이지: https://github.com/gunwoo5034/Watch-your-Speech
UniSAE: 이산 음성학적 사후그램 모델링을 통한 화자, 감정 및 저수준 내용에 대한 통합 음성 속성 편집
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
음성 편집(speech editing)은 발화의 특정 부분을 수정하면서 나머지 음성은 보존하는 것을 목표로 한다. 기존 접근법은 주로 단어 수준의 내용 수정에 초점을 맞추며, 내용·화자·감정 편집을 별도의 작업으로 처리하는 경우가 많아 편집 세분성과 유연성이 제한된다. 우리는 단일 아키텍처 내에서 음소 이하(sub-phoneme) 수준부터 단어 수준까지 조합 가능한 화자, 감정 및 내용 편집을 지원하는 통합 음성 속성 편집 프레임워크인 UniSAE를 제안한다. UniSAE는 음소 정체성, 발음 변이, 지속 시간을 인코딩하는 이산 토큰으로 음성 내용을 분해하는 이산 음성학적 사후그램(Discrete Phonetic PosteriorGram, DPPG) 표현을 도입하여, 직접적인 음소 및 음소 이하 수준의 편집을 가능하게 한다. 더 높은 수준의 수정을 위해서는 자기회귀 내용 트랜스포머가 단어 수준 내용 편집을 위한 수정된 DPPG 시퀀스를 예측한다. 수정된 시퀀스는 분리된 화자 및 감정 표현을 조건으로 하는 확산 기반 음향 디코더에 의해 음성으로 렌더링된다. 실험 결과, 제안된 통합 프레임워크가 정밀한 화자 및 감정 제어, 다양한 세분성 수준에서의 내용 편집, 그리고 단일 프레임워크 내에서 세 가지 속성 모두의 공동 수정을 지원함을 보여준다.
ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching
Differentiable Reward Optimization for LLM based TTS system
PresentAgent: Multimodal Agent for Presentation Video Generation
RapFlow-TTS: Rapid and High-Fidelity Text-to-Speech with Improved Consistency Flow Matching
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted by Proceeding of 13th edition of the Speech Synthesis Workshop; 5 pages, 1 figure