arXiv:2206.13762

A Hierarchical Speaker Representation Framework for One-shot Singing Voice Conversion

Xu Li, Shansong Liu, Ying Shan

제출 2022-06-28

원문 초록

Typically, singing voice conversion (SVC) depends on an embedding vector, extracted from either a speaker lookup table (LUT) or a speaker recognition network (SRN), to model speaker identity. However, singing contains more expressive speaker characteristics than conversational speech. It is suspected that a single embedding vector may only capture averaged and coarse-grained speaker characteristics, which is insufficient for the SVC task. To this end, this work proposes a novel hierarchical speaker representation framework for SVC, which can capture fine-grained speaker characteristics at different granularity. It consists of an up-sampling stream and three down-sampling streams. The up-sampling stream transforms the linguistic features into audio samples, while one down-sampling stream of the three operates in the reverse direction. It is expected that the temporal statistics of each down-sampling block can represent speaker characteristics at different granularity, which will be engaged in the up-sampling blocks to enhance the speaker modeling. Experiment results verify that the proposed method outperforms both the LUT and SRN based SVC systems. Moreover, the proposed system supports the one-shot SVC with only a few seconds of reference audio.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2407.04291v4eess.AS공통 태그 Voice Conversion, Speaker Recognition

음성 생성을 위한 화자 임베딩의 재고: 화자 내 다양성 포착을 위한 서브-센터 모델링

Rethinking Speaker Embeddings for Speech Generation: Sub-Center Modeling for Capturing Intra-Speaker Diversity

음성 변이 모델링은 자연스럽고 표현력 있는 음성 생성의 핵심입니다. 화자 임베딩(speaker embedding)은 개인화된 음성 시스템을 조건화하는 데 흔히 사용되지만, 일반적으로 화자 내 변이는 억제하고 화자 간 분리를 극대화하는 화자 인식(speaker recognition)을 위해 학습(training)됩니다. 이러한 목적 함수는 음성 생성에 필수적인 변이를 버릴 수 있는 지나치게 조밀한 표현으로 이어집니다. 본 연구에서는 이러한 설계 선택을 재고하고, 화자 임베딩을 위한 서브-센터(sub-center) 모델링 프레임워크를 제안합니다. 화자당 단일 프로토타입 대신 판별 학습 중에 여러 서브-센터를 학습하여 발화가 서로 다른 프로토타입에 정렬될 수 있도록 합니다. 이 전략은 판별력을 유지하면서 구조화된 화자 내 변이를 보존합니다. 제로샷(zero-shot) 음성 변환에서 제안하는 방법은 명료도를 향상시키고 피치 변동성을 높이며, 더 높은 자연성 평가를 달성하는 동시에 강력한 화자 검증 성능을 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.