Fine-grained Style Modeling, Transfer and Prediction in Text-to-Speech Synthesis via Phone-Level Content-Style Disentanglement
원문 초록
This paper presents a novel design of neural network system for fine-grained style modeling, transfer and prediction in expressive text-to-speech (TTS) synthesis. Fine-grained modeling is realized by extracting style embeddings from the mel-spectrograms of phone-level speech segments. Collaborative learning and adversarial learning strategies are applied in order to achieve effective disentanglement of content and style factors in speech and alleviate the "content leakage" problem in style modeling. The proposed system can be used for varying-content speech style transfer in the single-speaker scenario. The results of objective and subjective evaluation show that our system performs better than other fine-grained speech style transfer models, especially in the aspect of content preservation. By incorporating a style predictor, the proposed system can also be used for text-to-speech synthesis. Audio samples are provided for system demonstration https://daxintan-cuhk.github.io/pl-csd-speech .
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
독립적 제어 개선을 통한 노래 변환을 위한 비브라토 표현 제어
Vibrato Expression Control for Singing Voice Conversion with Improving Independent Control
노래 스타일은 자연스럽고 표현력 있는 노래의 중요한 측면입니다. 가수들은 노래의 감정이나 느낌을 전달하기 위해 노래 스타일을 활용합니다. 더욱 표현력 있는 노래를 만들기 위해 노래 스타일을 제어하는 여러 연구가 제안되었습니다. 최근 VibE-SVC는 고주파 F0 컨투어를 예측하여 비브라토를 성공적으로 제어했습니다. 본 논문에서는 노래 스타일 변환 성능과 제어 가능성을 개선하기 위해 VibE-SVC2라는 노래 변환 프레임워크를 소개합니다. 이 모델은 피치 스타일(pitch style)과 음색 스타일(timbre style)이라는 두 가지 유형의 노래 스타일 제어를 제공합니다. 피치 스타일의 경우, 이전 연구에서 해결되지 않았던 피치-에너지 얽힘(pitch-energy entanglement) 문제를 해결하기 위해 에너지 컨투어에 남아 있는 스타일 정보를 처리하는 새로운 에너지 스타일 변환기(Energy Style Converter)를 도입합니다. 또한, 참조 오디오의 피치 스타일을 모방하는 제로샷 피치 스타일 변환기(Zero-shot Pitch Style Converter)를 제안합니다. 모델의 제어 가능성을 확장하기 위해, VibE-SVC에서는 불가능했던 비브라토 정도에 대한 독립적인 제어인 비브라토 비율 스케일링(vibrato rate scaling)을 제안합니다. 음색 스타일의 경우, 다양한 발성 스타일을 처리하도록 모델을 확장했습니다. 그러나 보컬 프라이(vocal fry)와 같은 특정 스타일을 처리하는 것은 어려운 과제입니다. 이는 고유한 저조파(subharmonic) 특성으로 인해 기존 F0 추출이 자주 실패하여 변환 품질이 저하되기 때문입니다. 이를 해결하기 위해 더 자연스러운 음색 변환을 위해 F0 컨투어를 정제하는 새로운 저조파 보정(Subharmonic Correction) 알고리즘을 제안합니다. 포괄적인 객관적 및 주관적 평가를 통해, VibE-SVC2가 기존 방법보다 우수하며 두 가지 유형의 노래 스타일에 대해 정교하고 독립적인 제어를 제공함을 입증합니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
DiDE: 3D 스타일화를 위한 색상-텍스처 디커플링 기반 직접 주입
DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization
정류 흐름(rectified flow) 기반 이미지-to-3D 생성 모델의 최근 발전은 고충실도 3D 에셋 생성을 가능하게 했습니다. 이를 바탕으로, 참조 이미지의 시각적 속성을 생성된 3D 에셋으로 전이하기 위해 이러한 강력한 3D 사전 분포(prior)를 활용하는 학습(training) 불필요 스타일화 연구가 점차 늘어나고 있습니다. 그러나 기존 방법들은 '전부 아니면 전무(all-or-nothing)' 패러다임을 강제하여, 색상과 텍스처를 독립적으로 제어할 수 있는 메커니즘 없이 결합된 형태로 전이하며, 본 논문에서는 이러한 한계를 분리된 3D 스타일화(Disentangled 3D Stylization, Disen3D) 문제로 공식화합니다. 이를 해결하기 위해, 저자들은 Disen3D를 위한 최초의 학습 불필요 프레임워크인 DiDE를 제안합니다. 제안하는 접근법의 핵심은 이미지-to-3D 모델의 구조화된 잠재 공간(latent space)이 텍스처 관점에서 과완비(overcomplete)되어 있다는 관찰에 있습니다. 즉, 텍스처 정보는 스타일에 중요한 채널 중 극히 일부만 차지하므로, 독립적인 색상 인코딩에 사용할 수 있는 여유 하위 공간(subspace)이 남게 됩니다. DiDE는 전용 브랜치를 통해 콘텐츠 이미지, 텍스처 참조, 색상 참조를 처리하고 모든 셀프 어텐션(self-attention) 층(layer)에서 두 스타일 신호를 간섭 없이 합성하여 전체 과정에서 콘텐츠 지오메트리를 보존하는 채널 분할 메커니즘을 통해 이를 활용합니다. 새롭게 구축된 다중 참조 벤치마크인 Disen3D-Bench에 대한 실험 결과, DiDE가 색상 충실도, 텍스처 전이, 콘텐츠 보존 측면에서 기존 2D 및 3D 스타일화 베이스라인들을 일관되게 능가함을 보여줍니다.
VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성
VISTA: Video-Injected Stylized Text-to-Animation
본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.