arXiv:2110.08213

Towards Identity Preserving Normal to Dysarthric Voice Conversion

Wen-Chin Huang, Bence Mark Halpern, Lester Phillip Violeta, Odette Scharenborg, Tomoki Toda

제출 2021-10-15

원문 초록

We present a voice conversion framework that converts normal speech into dysarthric speech while preserving the speaker identity. Such a framework is essential for (1) clinical decision making processes and alleviation of patient stress, (2) data augmentation for dysarthric speech recognition. This is an especially challenging task since the converted samples should capture the severity of dysarthric speech while being highly natural and possessing the speaker identity of the normal speaker. To this end, we adopted a two-stage framework, which consists of a sequence-to-sequence model and a nonparallel frame-wise model. Objective and subjective evaluations were conducted on the UASpeech dataset, and results showed that the method was able to yield reasonable naturalness and capture severity aspects of the pathological speech. On the other hand, the similarity to the normal source speaker's voice was limited and requires further improvements.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24688v1cs.SD공통 태그 Speech Recognition, Voice Conversion

ECAPA-TDNN 임베딩의 초구면 기하 이해와 제로샷 음성 변환에 미치는 영향

Understanding Hyperspherical Geometry of ECAPA-TDNN Embedding and Its Impact on Zero-Shot Voice Conversion

각도 마진(angular-margin) 화자 인코더는 음성 변환에 널리 쓰이지만, 분류기 프로토타입(classifier prototype)의 기하는 여전히 잘 알려져 있지 않다. 본 연구는 ECAPA-TDNN 분류기 프로토타입을 단위 초구면(unit hypersphere) 위의 점으로 분석하고, 회전 불변(rotation-invariant) 각 통계와 전역·지역 유효 차원(effective dimensionality) 지표를 함께 사용해 그 배치를 특성화한다. 분석 결과, 표준 학습(training)은 각 집중(angular concentration)과 유효 차원의 큰 폭 감소를 유발할 수 있음을 보인다. 이에 대응해, 분류기 프로토타입에 더 균일한 초구면(hyperspherical) 커버리지를 유도하기 위해 두 가지 기하적 정규ization(regularization) 전략(hinged Riesz log-energy, 유효 차원 최대화)을 적용해 조사한다. 그 결과 프로토타입 집합은 더 높은 유효 차원과 개선된 등방성(isotropy)을 보이며, 화자 인식(speaker recognition) 성능에는 구성에 따른 영향이 있다. 해당 ECAPA-TDNN 모델을 Fast-VGAN의 화자 인코더로 사용할 때, 정규화된 시스템은 제로샷 음성 변환(zero-shot voice conversion)에서도 견고성이 향상되며, 특히 이전에 보지 못한 화자에서 두드러진다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.