MagpieTTS-LF: 장문 데이터에 대한 학습 없이 추론 시간에 장문 음성 생성
MagpieTTS-LF: Inference-Time Long-Form Speech Generation Without Training on Long-Form data
한국어 초록
신경망 기반 텍스트 음성 변환(TTS) 시스템은 짧은 발화에서는 뛰어난 품질을 보이지만, 장문 음성 생성에서는 운율 드리프트, 화자 불일치, 문장 경계 인공물이 발생합니다. 기존 접근법은 시퀀스를 압축하거나 컨텍스트 길이를 늘리거나 독립적으로 합성된 청크를 단순히 연결하는 방식을 취합니다. 본 논문에서는 모델 재학습 없이 MagpieTTS가 일관된 장문 음성을 생성할 수 있게 하는 MagpieTTS-LF라는 추론 시간 접근법을 제안합니다. 우리의 방법은 세 가지 핵심 혁신을 도입합니다: (1) 과거 및 미래 컨텍스트를 유지하면서 단조 정렬을 유도하는 소프트 어텐션 사전(priors), (2) 문장 청크 간 컨텍스트를 유지하여 운율 연속성을 보장하는 상태 유지(stateful) 추론 알고리즘, (3) 담화(discourse) 수준의 운율 계획을 위해 과거 텍스트를 활용하는 과거 정보 인식 텍스트 인코딩입니다. 장문 텍스트에 대한 실험 결과, 다른 기준선(baselines) 대비 장거리 명료성, 운율 일관성, 화자 일관성 및 경계 자연스러움에서 유의미한 개선을 보여주었습니다.
원문 초록
Neural Text-to-Speech (TTS) systems achieve remarkable quality on short utterances but long-form speech generation shows prosodic drift, speaker inconsistencies and sentence boundary artifacts. Existing approaches either compress sequences, increase context length or naively concatenate independently synthesized chunks. We present an inference-time approach called MagpieTTS-LF that enables MagpieTTS to produce coherent long-form speech without model retraining. Our method introduces three key innovations: (1) soft attention priors to guide monotonic alignment while preserving past and future context; (2) a stateful inference algorithm that maintains context across sentence chunks, ensuring prosodic continuity; (3) history-aware text encoding that uses past text for discourse-level prosodic planning. Experiments on long texts show significant improvements in long-range intelligibility, prosodic coherence, speaker consistency, and boundary naturalness compared to other baselines.
요약
MagpieTTS-LF는 MagpieTTS를 재학습하지 않고 추론 단계에서 소프트 어텐션 사전(priors), 청크 간 상태를 유지하는 추론 알고리즘, 과거 텍스트를 반영한 인코딩으로 장문 음성의 운율 드리프트·화자 불일치·문장 경계 인공물을 줄입니다. 장문 텍스트 실험에서 기준선 대비 장거리 명료성, 운율 일관성, 화자 일관성, 경계 자연스러움이 유의미하게 개선되었습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18485v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RapFlow-TTS: Rapid and High-Fidelity Text-to-Speech with Improved Consistency Flow Matching
InstructTTSEval: Benchmarking Complex Natural-Language Instruction Following in Text-to-Speech Systems
ZipVoice: Fast and High-Quality Zero-Shot Text-to-Speech with Flow Matching
Audio Jailbreak: An Open Comprehensive Benchmark for Jailbreaking Large Audio-Language Models
MoonCast: High-Quality Zero-Shot Podcast Generation
다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응
Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech
본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.