Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
원문 초록
This paper proposes a zero-shot text-to-speech (TTS) conditioned by a self-supervised speech-representation model acquired through self-supervised learning (SSL). Conventional methods with embedding vectors from x-vector or global style tokens still have a gap in reproducing the speaker characteristics of unseen speakers. A novel point of the proposed method is the direct use of the SSL model to obtain embedding vectors from speech representations trained with a large amount of data. We also introduce the separate conditioning of acoustic features and a phoneme duration predictor to obtain the disentangled embeddings between rhythm-based speaker characteristics and acoustic-feature-based ones. The disentangled embeddings will enable us to achieve better reproduction performance for unseen speakers and rhythm transfer conditioned by different speeches. Objective and subjective evaluations showed that the proposed method can synthesize speech with improved similarity and achieve speech-rhythm transfer.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화
Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction
이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.
비디오 = 월드(World) + 이벤트 스트림(Event Stream)
Video = World + Event Stream
Wan-Streamer v0.3을 제시한다. 이는 네이티브 스트리밍 상호작용 모델을 단일하는 조직적 관점 아래 재구성한 것으로, 비디오는 월드와 이벤트 스트림의 합이다. 월드는 비디오가 전개되는 지속적인 컨텍스트로, 환경(environment), 장면, 대상, 주변 음향 조건, 음성 특성, 기타 상대적으로 안정적인 조건을 포함한다. 이벤트 스트림은 해당 월드 내에서 시간에 따라 변하는 모든 것으로, 장면 또는 환경 변화, 대상 행동, 음성, 기타 소리를 포함한다. 이는 대규모 실제 비디오에 대한 범용 사전학습(pre-training) 과제를 만들어낸다. 월드와 들어오는 입력이 주어졌을 때, 월드가 실시간으로 어떻게 움직이고 변화하며 반응하는지 예측한다. 이렇게 얻은 역량은 광범위한 실시간 다운스트림(downstream) 과제에 특화될 수 있다. 이를 실시간 풀듀플렉스(full-duplex) 오디오-비주얼 상호작용에 구현했으며, 여기서 이벤트 스트림은 에이전트의 음성과 자유 형식 행동이다. 기능적으로 모델의 멀티모달 이해 과정은 비전-언어-행동(vision-language-action)과 유사하다. 멀티모달 사용자 입력을 언어 형식의 음성 및 행동 액션으로 매핑한다. Wan-Streamer v0.3은 v0.2 운영 지점을 유지한다. 640x368 비디오, 25 FPS, 160 ms 스트리밍 유닛, 약 200 ms 모델 측 응답 지연, 350 ms 양방향 네트워크 예산 하에서 약 550 ms 총 상호작용 지연이다.
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
토론
이 논문과 연결된 포럼 글이 아직 없습니다.