arXiv:2610.03390v1 cs.SD

DriftTTS: 분포 매칭 드리프트를 통해 지식 증류 없이 구현한 소수 단계 텍스트 음성 변환

DriftTTS: Few-Step Text-to-Speech Without Distillation via Distribution-Matching Drift

Mohammad Nur Hossain Khan, Subrata Biswas, Bashima Islam

제출 2026-10-02

한국어 초록

소수 단계(few-step) 신경망 텍스트 음성 변환(text-to-speech) 모델은 단축된 확산(diffusion) 또는 플로우 매칭(flow-matching) 스케줄에 의존하거나, 사전학습된 다단계 교사 모델로부터의 지식 증류(distillation)에 의존하는 경우가 많습니다. 이러한 의존성을 피하기 위해, 본 논문에서는 생성 교사 모델, 지식 증류, 또는 적대적 판별자(adversarial discrimination) 없이 학습(training)되는 소수 단계 멜-스펙트로그램(mel-spectrogram) 생성기인 DriftTTS를 제안합니다. DriftTTS는 원본 멜과 동일한 LJSpeech 학습 분할에서 사전학습된 동결된 마스크드 오토인코더(masked-autoencoder) 인코더로 정의된 멜 도메인 특징(feature) 공간에서 분포 매칭 드리프트(distribution-matching drift) 목적 함수를 사용합니다. 온-정책(on-policy) 롤아웃(rollout)은 디코더를 자체 중간 상태에서 학습시키며, 학습된 롤아웃 깊이까지의 추론(inference)을 지원합니다. LJSpeech에서 NFE=4일 때 DriftTTS는 Matcha-TTS의 3.85 dB 및 3.4%와 비교하여 3.87 dB MCD 및 3.7% WER을 달성합니다. 완전 쌍체 블라인드 청취 테스트에서 DriftTTS는 Matcha-TTS의 3.96 및 실제 정답(ground truth)의 4.22와 비교하여 4.18 MOS를 기록합니다. 이러한 결과는 사전학습된 생성 교사 모델 없이도 경쟁력 있는 소수 단계 합성이 가능함을 보여줍니다. 코드는 https://github.com/BASHLab/driftTTS.git 에서 확인할 수 있습니다.

원문 초록

Few-step neural text-to-speech models often rely on short- ened diffusion or flow-matching schedules, or on distillation from pretrained multi-step teachers. To avoid these depen- dencies, we present DriftTTS, a few-step mel-spectrogram generator trained without a generative teacher, distillation, or adversarial discrimination. DriftTTS uses a distribution- matching drift objective in a mel-domain feature space defined by raw mels and a frozen masked-autoencoder encoder pretrained on the same LJSpeech training split. On-policy rollout trains the decoder on its own interme- diate states and supports inference up to the trained roll- out depth. On LJSpeech, DriftTTS at NFE=4 achieves 3.87 dB MCD and 3.7% WER, compared with 3.85 dB and 3.4% for Matcha-TTS. In a fully paired blind listen- ing test, DriftTTS obtains 4.18 MOS, compared with 3.96 for Matcha-TTS and 4.22 for ground truth. These results demonstrate competitive few-step synthesis without a pre- trained generative teacher. Code can be found at https: //github.com/BASHLab/driftTTS.git

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03390v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.