arXiv:2112.12743

Multi-speaker Multi-style Text-to-speech Synthesis With Single-speaker Single-style Training Data Scenarios

Qicong Xie, Tao Li, Xinsheng Wang, Zhichao Wang, Lei Xie, Guoqiao Yu, Guanglu Wan

제출 2021-12-23

원문 초록

In the existing cross-speaker style transfer task, a source speaker with multi-style recordings is necessary to provide the style for a target speaker. However, it is hard for one speaker to express all expected styles. In this paper, a more general task, which is to produce expressive speech by combining any styles and timbres from a multi-speaker corpus in which each speaker has a unique style, is proposed. To realize this task, a novel method is proposed. This method is a Tacotron2-based framework but with a fine-grained text-based prosody predicting module and a speaker identity controller. Experiments demonstrate that the proposed method can successfully express a style of one speaker with the timber of another speaker bypassing the dependency on a single speaker's multi-style corpus. Moreover, the explicit prosody features used in the prosody predicting module can increase the diversity of synthetic speech by adjusting the value of prosody features.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Speech Synthesis, Text to Speech

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.09973v1cs.SD공통 태그 Diversity, Speech Synthesis

SFX 생성 평가를 위한 프로덕션 지향 프레임워크

A Production-Oriented Framework for Evaluation of SFX Generation

산업용 사운드 디자인은 현실감 있는 오디오를 생성할 뿐만 아니라 레퍼런스의 지각적 정체성을 보존하고, 제어 가능한 변형을 지원하며, 실용적인 워크플로우에서 효율적으로 동작하는 오디오 생성 시스템을 필요로 한다. 기존 평가는 대부분 텍스트-투-오디오(TTA), 비조건부(unconditional), 또는 태스크 특화 설정에 국한되어 있어, 레퍼런스 기반 음향 효과(SFX) 변형에 대한 평가를 제한한다. 이러한 격차를 해소하기 위해, 우리는 이질적인 오디오 생성 및 편집 방법을 구조적으로 비교하기 위한 프로덕션 지향 평가 프레임워크를 제안한다. 본 프레임워크는 아홉 가지 프로덕션 요구사항을 식별하고 모델 역량의 차이를 명시적으로 반영하여, 공통 프로덕션 목표 하에서의 비교를 가능하게 한다. 두 단계 프로토콜이 도입된다: (1) 레퍼런스 기반 오디오-투-오디오(ATA) 변형 태스크로, 모든 방법이 동일한 ESC-50 SFX 적응 설정 하에서 평가되며, (2) SFX 모핑(morphing), 시간적·에너지 정렬, 인페인팅(inpainting), 목표 편집 등 고유 연산에 대한 역량별 분석이 수행된다. 본 프레임워크는 객관적 지표(FAD, ImageBind 기반 레퍼런스 정렬, 생성 변형 간 다양성 포함)와 지각적 정체성 보존 및 트랜지언트(transient) 진단에 관한 사용자 연구를 결합한다. 연구 결과, 다양한 프로덕션 요구에 따라 베이스라인들 간의 상호 보완적 강점과 트레이드오프가 드러났다. 공유된 ATA 설정 하에서 평가된 완전 생성 베이스라인 중 AudioX가 레퍼런스 정렬과 다양성 간의 전반적 트레이드오프에서 가장 우수한 성능을 보이면서도 SFX 모핑을 지원한다. 다른 베이스라인들은 특정 편집 연산에 가장 적합한 것으로 나타났다. 본 프레임워크는 레퍼런스 기반 SFX 변형을 위한 구조적 평가 및 의사결정 프로토콜을 확립하고, 미래의 통합 산업용 오디오 생성 파이프라인 설계를 위한 실용적 기반을 제공한다. 오디오 데모는 제공된 웹 페이지에서 확인할 수 있다.

arXiv:2607.08863v1cs.SD공통 태그 Style Transfer, Speech Synthesis

Clean2FX: 클린-이펙트 기타 오디오 변환을 위한 레이블 조건부 모델링

Clean2FX: Label-conditioned modeling for clean-to-effect guitar audio transformations

본 논문에서는 일렉트릭 기타 오디오의 레이블 조건부 클린-이펙트 변환에 대한 연구 및 데모인 Clean2FX를 제안한다. 클린 기타 입력과 목표 이펙트 레이블이 주어졌을 때, 음악적 내용을 보존하면서 해당 이펙트가 적용된 신호를 합성하는 것이 목표이다. 학습 및 평가 쌍은 EGFxSet의 실제 단음 녹음으로부터 클린/이펙트 코드, 멜로디, 혼합 타임라인을 매칭하여 구성되며, 이를 통해 이펙트 간 통제된 비교가 가능하다. 공통된 스펙트로그램 기반 변환 설정 하에서 네 가지 신경망 접근법을 평가한다: 선형 또는 로그-크기 표현에서 동작하는지에 따라 구분되는 두 가지 변분 오토인코더(variational autoencoder)와 두 가지 U-Net 모델이다. 성능은 선형-크기 스펙트로그램 MSE와 Fréchet Audio Distance(FAD)로 측정한다. U-Net 모델이 변분 오토인코더 변형보다 우수한 성능을 보인다. 이펙트별 결과에서는 왜곡(distortion) 이펙트가 가장 크게 개선되는 반면, 딜레이(delay)와 리버브(reverb) 이펙트는 상당한 스펙트럼 오차 감소에도 불구하고 FAD 향상폭이 미미함을 보인다. 조건부 민감도 진단은 최우수 모델이 단일 변환으로 수렴하지 않고 목표 레이블에 반응함을 보여주는 근거를 제공한다. 데모 웹사이트에서는 학습 및 검증 데이터 외부의 실제 기타 연주에 두 모델을 적용하여, 실용적인 클린-이펙트 동작의 오디오 및 스펙트로그램 예시를 비교한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.