Video-to-Video Translation for Visual Speech Synthesis
원문 초록
Despite remarkable success in image-to-image translation that celebrates the advancements of generative adversarial networks (GANs), very limited attempts are known for video domain translation. We study the task of video-to-video translation in the context of visual speech generation, where the goal is to transform an input video of any spoken word to an output video of a different word. This is a multi-domain translation, where each word forms a domain of videos uttering this word. Adaptation of the state-of-the-art image-to-image translation model (StarGAN) to this setting falls short with a large vocabulary size. Instead we propose to use character encodings of the words and design a novel character-based GANs architecture for video-to-video translation called Visual Speech GAN (ViSpGAN). We are the first to demonstrate video-to-video translation with a vocabulary of 500 words.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CycleVAR: Repurposing Autoregressive Model for Unsupervised One-Step Image Translation
하나의 목소리, 다양한 언어: 과학 연설을 위한 교차 언어 음성 복제
One Voice, Many Tongues: Cross-Lingual Voice Cloning for Scientific Speech
화자의 음성 정체성을 유지한 채 다른 언어로 음성을 생성하는 것은 음성 언어 기술에서 근본적인 과제로 남아 있으며, 특히 과학적 의사소통과 같은 전문 분야에서 그렇다. 본 논문에서는 국제 음성 언어 번역 학회(International Conference on Spoken Language Translation, IWSLT 2026)의 교차 언어 음성 복제(Cross-Lingual Voice Cloning) 공유 과제에 제출한 시스템을 통해 이 과제에 대응한다. 먼저 아랍어, 중국어, 프랑스어 과학 텍스트에 대한 교차 언어 음성 생성을 위해 여러 최신(state-of-the-art) 음성 복제 모델을 평가한다. 그다음 OmniVoice 파운데이션 모델을 기반으로 음성 복제 시스템을 구축한다. ACL 60/60 코퍼스로부터 다중 모델 앙상블 지식 증류를 활용한 데이터 증강을 적용한다. 이 합성 데이터를 미세조정에 사용하는 효과를 조사한 결과, 명료도(WER 및 CER)와 화자 유사도(SIM)에서 개선이 나타났으며, 향상 정도는 언어마다 다양했다.
STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity
IWSLT 2026 교차 언어 음성 복제(Cross-Lingual Voice Cloning)에 대한 KIT 제출
KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026
교차 언어 음성 복제는 원어 참조 음성의 화자 정체성을 유지하면서 목표 언어로 음성을 생성하는 것을 목표로 한다. 이 과제는 음성 번역의 핵심이며 IWSLT 2026 교차 언어 음성 복제 트랙의 초점이다. 핵심 과제는 억양 변이와 도메인 특화 어휘가 존재하는 상황에서 가청성(intelligibility)과 자연스러움을 유지하는 것이다. 우리는 다국어 텍스트 음성 변환 모델 FishAudio-S2-Pro를 기반으로 하고, 언어 제어를 개선하고 억양 누출(accent leakage)을 줄이기 위해 언어 태그 프롬프팅(language tag prompting)을 도입한다. 또한 과제 적응을 위해 강화학습(RL) 미세조정을 적용하고 가청성 개선을 관찰했다. 마지막으로, 어휘 중복(lexical overlap)이 존재할 때 도메인 특화 용어의 발음을 개선하는 참조 조건화 어휘 매칭(reference-conditioned lexical matching) 방법을 제안한다. 결과는 언어 프롬프팅이 가장 큰 이득을 제공하며, 어휘 매칭은 매칭된 부분집합에서 일관된 개선을 가져온다는 것을 보여준다.
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
DeepGesture: A conversational gesture synthesis system based on emotions and semantics
토론
이 논문과 연결된 포럼 글이 아직 없습니다.