비디오-음성 합성(Video-to-speech synthesis)은 음성학적 정확성을 보장하면서 소리가 없는 말하는 얼굴 비디오로부터 자연스러운 음성을 생성하는 것을 목표로 합니다. 이 작업의 근본적인 과제는 시각적 동역학만으로는 해당 발화를 고유하게 결정하기에 충분한 정보가 부족한 경우가 많은 내재적 일대다(one-to-many) 매핑 문제입니다. 이를 해결하기 위해, 본 논문에서는 시각적 모호성을 완화하기 위한 명시적 언어 단서로서 텍스트 조건화(textual conditioning)를 통합한 비디오-음성 합성 프레임워크인 Watch Your Speech(WYS)를 제안합니다. 제안하는 프레임워크는 텍스트 문맥을 비디오 시퀀스와 시너지 효과를 내며 통합하는 어텐션 기반 임베딩 융합 모듈과, 고충실도 음성 생성을 위한 조건부 플로우 매칭(flow matching) 목적 함수를 결합한 것이 특징입니다. LRS2 및 LRS3 데이터셋에 대한 광범위한 실험을 통해 WYS가 우수한 성능을 달성하여 경쟁력 있는 텍스트 정확도(WER)를 유지하면서 시청각 동기화(LSE-C/D)에서 새로운 최고 수준(SOTA)의 결과를 수립함을 입증합니다. 주관적 평가를 통해서도 본 모델이 인간에 가까운 자연스러움을 지닌 음성을 생성함을 확인하였으며, 내용 제어 비디오-음성 합성에서 텍스트 조건화의 효과를 입증합니다. 프로젝트 페이지: https://github.com/gunwoo5034/Watch-your-Speech
고품질 3D 토킹 페이스(talking face) 데이터셋은 여전히 대부분 영어 중심으로 구성되어 있으며, 한국어 3D 얼굴 모션 데이터는 메시 토폴로지(mesh topology), 공간 스케일, 좌표계, 시간 샘플링의 차이로 인해 표준 영어 벤치마크와 결합하기 어렵다. 본 논문에서는 변형 전이(deformation transfer)를 활용하여 VOCASET 및 공개된 한국어 음성 기반 3D 토킹 페이스 데이터를 공유 메시 토폴로지로 리타기팅(retargeting)한 조음(articulation) 중심의 경량 한국어-영어 3D 토킹 페이스 벤치마크인 KoUniTalk를 제시한다. 새로운 변형 전이 알고리즘이나 전두부(full-head) 신원 보존형 아바타 데이터셋을 제안하기보다는, KoUniTalk는 영어와 한국어 전반에서 통제된 음성 구동 얼굴 조음 학습(training) 및 평가(evaluation)를 위한 신원 중립적 표준(canonical) 출력 공간을 제공한다. 통합 템플릿은 1,176개의 정점(vertex)을 포함하며 입과 인접한 하안부 및 중안부 영역에 집중하여 출력 차원을 15,069차원 및 72,147차원에서 3,528차원으로 축소하며, 이는 VOCASET/FLAME 및 원본 한국어 메시에 비해 각각 4.27배 및 20.45배 감소한 것에 해당한다. 리타기팅이 음성 관련 모션을 보존하는지 검증하기 위해, 입 벌림(mouth opening), 입 너비, 개구율(aperture ratio), 입 벌림 동역학(mouth-opening dynamics)을 포함한 의미론적 입 랜드마크 궤적을 평가한다. 한국어 데이터셋의 공식 테스트 세트가 공개되지 않았기 때문에, 피험자가 겹치지 않는(subject-disjoint) 한국어 벤치마크 분할을 추가로 정의한다. 처리 및 매칭된 벤치마크는 22명의 화자, 4,978개의 시퀀스, 642,781개의 프레임을 포함하여 단일 소형 조음 템플릿 공간에서 음성 구동 3D 얼굴 애니메이션 모델의 한국어-영어 교차 데이터셋 평가를 가능하게 한다. 소스 보고 인벤토리 수는 처리된 수치와 별도로 나열된다.