arXiv:2207.14607

Low-data? No problem: low-resource, language-agnostic conversational text-to-speech via F0-conditioned data augmentation

Giulia Comini, Goeric Huybrechts, Manuel Sam Ribeiro, Adam Gabrys, Jaime Lorenzo-Trueba

제출 2022-07-29

원문 초록

The availability of data in expressive styles across languages is limited, and recording sessions are costly and time consuming. To overcome these issues, we demonstrate how to build low-resource, neural text-to-speech (TTS) voices with only 1 hour of conversational speech, when no other conversational data are available in the same language. Assuming the availability of non-expressive speech data in that language, we propose a 3-step technology: 1) we train an F0-conditioned voice conversion (VC) model as data augmentation technique; 2) we train an F0 predictor to control the conversational flavour of the voice-converted synthetic data; 3) we train a TTS system that consumes the augmented data. We prove that our technology enables F0 controllability, is scalable across speakers and languages and is competitive in terms of naturalness over a state-of-the-art baseline model, another augmented method which does not make use of F0 information.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08208v2cs.CL공통 태그 Data Augmentation, text-to-speech, Text to Speech

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.22304v1cs.LG공통 태그 Data Augmentation, text-to-speech

합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강

Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning

음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.

arXiv:2606.29031v2cs.CL공통 태그 Data Augmentation, text-to-speech

LLM 기반 ASR 시스템에서 합성 음성을 활용하는 방법

How to Leverage Synthetic Speech for LLM-Based ASR Systems?

금융 및 의료와 같이 규제된 도메인에서는 개인정보 보호 제약으로 인해 실제 음성을 수집하고 보관하는 비용이 크기 때문에, 민감한 고객 녹음을 노출하지 않고 자동 음성 인식(ASR)을 학습하기 위한 대안으로 최신 텍스트 음성 변환(TTS)의 합성 음성이 매력적인 선택지가 된다. 그러나 합성 데이터와 실제 데이터 사이의 지속적인 분포적 격차는 합성 음성이 실제 녹음을 대체할 수 있는 범위를 제한한다. 기존 연구들은 이 격차를 주로 엔지니어링으로 극복해야 할 블랙박스로 다루었지만, 본 연구에서는 SLAM-ASR 아키텍처를 분석하여 그 원인을 직접 규명한다. LLM 백본이 실제 음성과 합성 음성을 분리하는 위치를 파악한 결과, 판별 신호가 초기~중간 층에 집중되어 있으며, 이 층에서 시간적 및 운율적 섭동이 가장 큰 영향을 미치는 것을 발견했다. 나아가 표현 수준의 분리가능성이 도움이 되기는 하지만, 하류 ASR 성능 향상을 직접적으로 예측하지는 않음을 보였다. 반면, 실내 충격 응답(RIR)과 합성 음성을 합성곱 처리하면 합성 음성을 더 깨끗하거나 자연스럽게 들리게 만드는 방식이 아닌, 실제 녹음의 음향적 불규칙성을 재현함으로써 격차를 좁힌다. 이러한 발견을 학습 절차에 적용하여, 층 선택 모듈과 RIR 증강을 결합하면 실제 음성의 25%만(13.6시간)으로도 완전한 실제 데이터 기준선에 필적하며, 더 높은 비율에서는 기준선을 상회한다.

arXiv:2607.02633v1cs.LG공통 태그 Voice Conversion, text-to-speech

GRAFT: 제로샷 텍스트 음성 변환에서 세밀한 발음을 위한 접목된 참조 오디오

GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech

본 논문에서는 텍스트 음성 변환(text-to-speech) 신경망 코덱 언어 모델링을 위한 단어 단위 발음 컨디셔닝 메커니즘인 GRAFT를 제안한다. 기존 시스템들은 높은 명료성과 자연스러움을 달성하지만 텍스트의 모호성을 그대로 물려받아 희귀한 고유명사, 외래어, 전문 용어를 잘못 발음하는 경향이 있다. 음소 조건부 모델조차도 단어별 발음에 대한 직접적인 음향적 제어 수단을 제공하지 않는다. GRAFT는 짧은 발화 샘플에서 선택한 단어의 발음을 제어하는데, 이 샘플은 모델 자체의 음성 토크나이저로 인코딩되어 프롬프트(prompt) 내 해당 단어의 위치에 바인딩된다. 학습(training) 데이터 구성 과정에서 음성 변환을 적용하여 힌트 화자와 목표 화자를 분리함으로써, 힌트는 임의의 음성에서 가져오더라도 출력은 목표 화자의 음성을 유지한다. 영어 블라인드 청취 실험에서 인간 평가자들은 GRAFT를 명확한 마진(margin)으로 1위로 선택하였으며, 어려운 단어의 렌더링이 해당 단어의 참조 녹음에 가장 가깝다고 평가하였다. 5개 언어 객관적 벤치마크에서 GRAFT는 동일한 텍스트 전용 백본 대비 목표 단어 음소 오류율을 22–39% 감소시키며, 음소 조건부 및 텍스트 조건부 방식을 포함한 경쟁력 있는 오픈소스 제로샷 시스템들을 목표 단어 발음 측면에서 능가하는 동시에 화자 유사성과 자연스러움을 유지한다.

arXiv:2607.02763v1cs.CL공통 태그 Data Augmentation, text-to-speech

LuxSQA: TTS 증강 음성 질의응답으로 룩셈부르크어로 질문하기

LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering

음성 질의응답(SQA)은 여전히 고자원 언어와 정밀하게 녹음된 음성에 집중되어 있어, 저자원 환경에서 음성-LLM 방법론의 적용 범위를 제한하고 있다. 본 논문은 텍스트 음성 변환(TTS)이 대규모 인간 녹음 QA 코퍼스 없이도 룩셈부르크어 SQA를 위한 태스크 특화 학습 데이터를 제공할 수 있는지 탐구한다. 기존 텍스트 기반 QA 자료를 출발점으로, 질문을 룩셈부르크어로 번역하고 다수의 TTS 시스템으로 음성 질문을 합성한 후 텍스트 답변과 쌍으로 구성한다. 우리는 학습된 프로젝터와 LoRA 어댑터를 통해 고정된 Whisper 인코더를 고정된 다국어 LLM 백엔드에 연결하는 매개변수 효율적인 SLAM 스타일 아키텍처를 학습시킨다. MMS-TTS, Qwen3-TTS, OmniVoice 변형을 비교하며, 약 48k 질문의 단일 출처 코퍼스와 약 230k 질문의 4TTS 다중 출처 혼합 데이터를 포함한다. 두 가지 실제 룩셈부르크어 화자 조건으로 구성된 LLAMA-LB-Test에서의 평가 결과, 다중 출처 및 음성 디자인 기반 합성 학습 구성이 가장 우수한 SQA 성능을 보인다. 또한 참조 없는 TTS 품질 점수가 다운스트림 QA 성능을 단조롭게 예측하지 않음을 보여주며, 이는 합성 음성을 자연스러운 오디오로서만이 아니라 태스크 특화 학습 데이터로 평가해야 함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.