PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.02115v3eess.AS

음소 사후확률값(PPG)을 활용한 핀란드어 음성의 발음 교정

Pronunciation Editing for Finnish Speech using Phonetic Posteriorgrams

제2언어(L2) 음성 합성은 L2 언어 학습 경험과 피드백 측면에서 잠재적으로 높은 가치를 지닙니다. 그러나 L2 음성 합성 데이터셋의 부족으로 인해 저자원 언어에 대한 L2 음성을 합성하기는 어렵습니다. 본 논문에서는 모국어 음성을 편집하여 L2 음성에 근사시키는 실용적인 솔루션을 제공하며, 텍스트 정렬(text alignment) 없이 단일 음소를 편집할 수 있는 확산(diffusion) 기반 다중 화자 음소 사후확률값-음성 변환 모델인 PPG2Speech를 제시합니다. 본 연구는 Matcha-TTS의 플로우 매칭(flow-matching) 디코더를 백본으로 사용하여 외부 화자 임베딩(speaker embedding) 및 피치를 조건으로 음소 사후확률값(PPG)을 멜 스펙트로그램(mel-spectrogram)으로 변환합니다. PPG2Speech는 분류기 없는 가이던스(Classifier-free Guidance, CFG)와 Sway Sampling을 통해 Matcha-TTS의 플로우 매칭 디코더 성능을 강화합니다. 또한 편집 효과를 측정하기 위해 편집된 PPG와 합성 음성에서 추출된 PPG 간의 정렬 일관성을 평가하는 새로운 과제 특화 객관적 평가 지표인 PAC(Phonetic Aligned Consistency)를 제안합니다. 약 60시간 분량의 데이터를 사용하여 저자원이자 표음성이 높은 언어인 핀란드어에서 제안 방법의 유효성을 검증합니다. TTS 기반 편집과 비교하여 자연스러움, 화자 유사도, 편집 효과를 비교하는 객관적 및 주관적 평가를 수행합니다. 소스 코드는 https://github.com/aalto-speech/PPG2Speech 에 공개되어 있습니다.

arXiv:2606.31128v1cs.SD

UniSAE: 이산 음성학적 사후그램 모델링을 통한 화자, 감정 및 저수준 내용에 대한 통합 음성 속성 편집

UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling

UniSAE는 화자(speaker)·감정(emotion)·언어 내용을 단일 아키텍처에서 통합 편집하는 프레임워크로, 이산 음성학적 사후그램(DPPG) 표현을 통해 음소 이하 수준까지 세밀한 내용 편집을 지원한다. 자기회귀 Content Transformer와 확산 기반 음향 디코더를 결합하여 화자·감정·내용 세 속성의 독립적 또는 공동 수정이 가능함을 실험으로 검증했다.