arXiv:2610.01012v1 cs.CV

말조심하세요: 텍스트 조건화를 활용한 텍스트 인식 비디오-음성 합성

Watch Your Speech: Text-aware Video-to-Speech Synthesis with Textual Conditioning

Gunwoo Lee, Yoori Oh, Yoseob Han

제출 2026-10-01

저자 비고

arXiv Comments

Accepted to BMVC 2026

한국어 초록

비디오-음성 합성(Video-to-speech synthesis)은 음성학적 정확성을 보장하면서 소리가 없는 말하는 얼굴 비디오로부터 자연스러운 음성을 생성하는 것을 목표로 합니다. 이 작업의 근본적인 과제는 시각적 동역학만으로는 해당 발화를 고유하게 결정하기에 충분한 정보가 부족한 경우가 많은 내재적 일대다(one-to-many) 매핑 문제입니다. 이를 해결하기 위해, 본 논문에서는 시각적 모호성을 완화하기 위한 명시적 언어 단서로서 텍스트 조건화(textual conditioning)를 통합한 비디오-음성 합성 프레임워크인 Watch Your Speech(WYS)를 제안합니다. 제안하는 프레임워크는 텍스트 문맥을 비디오 시퀀스와 시너지 효과를 내며 통합하는 어텐션 기반 임베딩 융합 모듈과, 고충실도 음성 생성을 위한 조건부 플로우 매칭(flow matching) 목적 함수를 결합한 것이 특징입니다. LRS2 및 LRS3 데이터셋에 대한 광범위한 실험을 통해 WYS가 우수한 성능을 달성하여 경쟁력 있는 텍스트 정확도(WER)를 유지하면서 시청각 동기화(LSE-C/D)에서 새로운 최고 수준(SOTA)의 결과를 수립함을 입증합니다. 주관적 평가를 통해서도 본 모델이 인간에 가까운 자연스러움을 지닌 음성을 생성함을 확인하였으며, 내용 제어 비디오-음성 합성에서 텍스트 조건화의 효과를 입증합니다. 프로젝트 페이지: https://github.com/gunwoo5034/Watch-your-Speech

원문 초록

Video-to-speech synthesis aims to generate natural-sounding speech from silent talking-face videos while ensuring phonetic accuracy. A fundamental challenge in this task is the inherent one-to-many mapping problem, where visual dynamics often lack sufficient information to uniquely determine the corresponding utterance. To address this, we propose Watch Your Speech (WYS), a video-to-speech synthesis framework that incorporates textual conditioning as an explicit linguistic cue to mitigate visual ambiguity. Our framework features an attention-based embedding fusion module that synergistically integrates textual context with video sequences, coupled with a conditional flow matching objective for high-fidelity speech generation. Extensive experiments on the LRS2 and LRS3 datasets demonstrate that WYS achieves superior performance, establishing new state-of-the-art results in audio-visual synchronization (LSE-C/D) while maintaining highly competitive textual accuracy (WER). Subjective evaluations further confirm that our model generates speech with near-human naturalness, validating the effectiveness of textual conditioning in content-controlled video-to-speech synthesis. Project page: https://github.com/gunwoo5034/Watch-your-Speech

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01012v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2507.02115v3eess.AS공통 태그 Text to Speech, flow matching

음소 사후확률값(PPG)을 활용한 핀란드어 음성의 발음 교정

Pronunciation Editing for Finnish Speech using Phonetic Posteriorgrams

제2언어(L2) 음성 합성은 L2 언어 학습 경험과 피드백 측면에서 잠재적으로 높은 가치를 지닙니다. 그러나 L2 음성 합성 데이터셋의 부족으로 인해 저자원 언어에 대한 L2 음성을 합성하기는 어렵습니다. 본 논문에서는 모국어 음성을 편집하여 L2 음성에 근사시키는 실용적인 솔루션을 제공하며, 텍스트 정렬(text alignment) 없이 단일 음소를 편집할 수 있는 확산(diffusion) 기반 다중 화자 음소 사후확률값-음성 변환 모델인 PPG2Speech를 제시합니다. 본 연구는 Matcha-TTS의 플로우 매칭(flow-matching) 디코더를 백본으로 사용하여 외부 화자 임베딩(speaker embedding) 및 피치를 조건으로 음소 사후확률값(PPG)을 멜 스펙트로그램(mel-spectrogram)으로 변환합니다. PPG2Speech는 분류기 없는 가이던스(Classifier-free Guidance, CFG)와 Sway Sampling을 통해 Matcha-TTS의 플로우 매칭 디코더 성능을 강화합니다. 또한 편집 효과를 측정하기 위해 편집된 PPG와 합성 음성에서 추출된 PPG 간의 정렬 일관성을 평가하는 새로운 과제 특화 객관적 평가 지표인 PAC(Phonetic Aligned Consistency)를 제안합니다. 약 60시간 분량의 데이터를 사용하여 저자원이자 표음성이 높은 언어인 핀란드어에서 제안 방법의 유효성을 검증합니다. TTS 기반 편집과 비교하여 자연스러움, 화자 유사도, 편집 효과를 비교하는 객관적 및 주관적 평가를 수행합니다. 소스 코드는 https://github.com/aalto-speech/PPG2Speech 에 공개되어 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.