청각 피드백을 조건으로 하는 플로 기반 텍스트 음성 변환의 암묵적 롬바르드 적응
Auditory-Feedback-Conditioned Flow TTS for Implicit Lombard Adaptation
한국어 초록
기존 텍스트 음성 변환(TTS) 시스템은 주변 환경이 변해도 적응하지 못해 잡음 속에서 말 명료도가 낮아질 수 있다. 반면 사람은 시끄러운 곳에서 더 큰 힘을 주어 발성하는 경향이 있다. 이를 롬바르드 효과라고 한다. 본 연구는 청각 피드백 기반 롬바르드 TTS를 확장해, 사전학습한 플로 기반 TTS가 운율을 명시적으로 제어하지 않고도 청각 피드백에서 음향 적응을 직접 학습할 수 있는지 살펴본다. 잡음을 섞은 파형에서 신호 대 잡음비(SNR)와 자동 음성 인식(ASR) 피드백을 추출한다. 이 피드백을 플로 매칭의 조건에 넣어 발화를 다듬고, 미래 정보를 쓰지 않는 블록 단위 갱신에 활용한다. 일반 발성 및 롬바르드 발성 프롬프트, 프롬프트 전환 대조군, 짝지은 데이터 기반 미세조정으로 여러 프롬프트와 잡음 조건에서 효과를 평가했다. 미세조정은 학습 분포 안에서 강건성을 크게 높였다. 청각 피드백은 단서의 종류에 따라 추가 이점을 제공했으며 보지 못한 잡음에도 일반화됐다. 신호 파워와 기본 주파수(F0)를 더 잘 추적한다는 사실만으로는 말 명료도나 음질의 개선이 보장되지 않았다.
원문 초록
Conventional text-to-speech (TTS) systems can lose intelligibility in noise environments because they cannot adapt to environmental changes. However, humans tend to increase their vocal efforts in noisy environments, a phenomenon known as the Lombard effect. Building on an auditory-feedback Lombard TTS, we investigate whether a pretrained Flow-based TTS can learn acoustic adaptation directly from auditory feedback without explicit prosodic control. Signal-to-noise ratio (SNR) feedback and automatic speech recognition (ASR) feedback are extracted from the noise-corrupted waveforms and injected into the Flow-matching condition for utterance refinement and causal block-level updates. We assess feedback benefits across prompting and noise conditions using plain/Lombard prompting, prompt-switching controls, and paired-finetuning. Experiments show that while finetuning provides strong robustness under in-domain conditions, auditory feedback yields additional cue-dependent benefits that generalize to unseen noise. Moreover, stronger power/F0 tracking alone does not guarantee better speech intelligibility or quality.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19260v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.