Continual Speaker Adaptation for Text-to-Speech Synthesis
원문 초록
Training a multi-speaker Text-to-Speech (TTS) model from scratch is computationally expensive and adding new speakers to the dataset requires the model to be re-trained. The naive solution of sequential fine-tuning of a model for new speakers can lead to poor performance of older speakers. This phenomenon is known as catastrophic forgetting. In this paper, we look at TTS modeling from a continual learning perspective, where the goal is to add new speakers without forgetting previous speakers. Therefore, we first propose an experimental setup and show that serial fine-tuning for new speakers can cause the forgetting of the earlier speakers. Then we exploit two well-known techniques for continual learning, namely experience replay and weight regularization. We reveal how one can mitigate the effect of degradation in speech synthesis diversity in sequential training of new speakers using these methods. Finally, we present a simple extension to experience replay to improve the results in extreme setups where we have access to very small buffers.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mlphon: A Multifunctional Grapheme-Phoneme Conversion Tool Using Finite State Transducers
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
SFX 생성 평가를 위한 프로덕션 지향 프레임워크
A Production-Oriented Framework for Evaluation of SFX Generation
산업용 사운드 디자인은 현실감 있는 오디오를 생성할 뿐만 아니라 레퍼런스의 지각적 정체성을 보존하고, 제어 가능한 변형을 지원하며, 실용적인 워크플로우에서 효율적으로 동작하는 오디오 생성 시스템을 필요로 한다. 기존 평가는 대부분 텍스트-투-오디오(TTA), 비조건부(unconditional), 또는 태스크 특화 설정에 국한되어 있어, 레퍼런스 기반 음향 효과(SFX) 변형에 대한 평가를 제한한다. 이러한 격차를 해소하기 위해, 우리는 이질적인 오디오 생성 및 편집 방법을 구조적으로 비교하기 위한 프로덕션 지향 평가 프레임워크를 제안한다. 본 프레임워크는 아홉 가지 프로덕션 요구사항을 식별하고 모델 역량의 차이를 명시적으로 반영하여, 공통 프로덕션 목표 하에서의 비교를 가능하게 한다. 두 단계 프로토콜이 도입된다: (1) 레퍼런스 기반 오디오-투-오디오(ATA) 변형 태스크로, 모든 방법이 동일한 ESC-50 SFX 적응 설정 하에서 평가되며, (2) SFX 모핑(morphing), 시간적·에너지 정렬, 인페인팅(inpainting), 목표 편집 등 고유 연산에 대한 역량별 분석이 수행된다. 본 프레임워크는 객관적 지표(FAD, ImageBind 기반 레퍼런스 정렬, 생성 변형 간 다양성 포함)와 지각적 정체성 보존 및 트랜지언트(transient) 진단에 관한 사용자 연구를 결합한다. 연구 결과, 다양한 프로덕션 요구에 따라 베이스라인들 간의 상호 보완적 강점과 트레이드오프가 드러났다. 공유된 ATA 설정 하에서 평가된 완전 생성 베이스라인 중 AudioX가 레퍼런스 정렬과 다양성 간의 전반적 트레이드오프에서 가장 우수한 성능을 보이면서도 SFX 모핑을 지원한다. 다른 베이스라인들은 특정 편집 연산에 가장 적합한 것으로 나타났다. 본 프레임워크는 레퍼런스 기반 SFX 변형을 위한 구조적 평가 및 의사결정 프로토콜을 확립하고, 미래의 통합 산업용 오디오 생성 파이프라인 설계를 위한 실용적 기반을 제공한다. 오디오 데모는 제공된 웹 페이지에서 확인할 수 있다.
Bts-e: Audio deepfake detection using breathing-talking-silence encoder
Multi-Stage Deep Transfer Learning for EmIoT-enabled Human-Computer Interaction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.