PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Speaker-Specific Lip to Speech Synthesis

Visual Speech Recognition › Lip to Speech Synthesis › Speaker-Specific Lip to Speech Synthesis 13 평가 기록 7 datasets

How accurately can we infer an individual’s speech style and content from his/her lip movements? [1]

In this task, the model is trained on a specific speaker, or a very limited set of speakers.

[1] Learning Individual Speaking Styles for Accurate Lip to Speech Synthesis, CVPR 2020.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
Visual Voice Memory
STOI: 0.738ESTOI: 0.579PESQ: 1.984
논문 코드
Visual Voice Memory
STOI: 0.566ESTOI: 0.429PESQ: 1.529
논문 코드
Visual Voice Memory
STOI: 0.506ESTOI: 0.334PESQ: 1.503
논문 코드
Visual Voice Memory
STOI: 0.576ESTOI: 0.402PESQ: 1.612
논문 코드
Visual Voice Memory
STOI: 0.463ESTOI: 0.304PESQ: 1.362
논문 코드
Visual Voice Memory
STOI: 0.504ESTOI: 0.337PESQ: 1.366
논문 코드
Lip2Wav
STOI: 0.558ESTOI: 36.5PESQ: 1.35
논문 코드

데이터셋

7개
GRID corpus (mixed-speech)Lip2Wav (Chem)Lip2Wav (Chess)Lip2Wav (DL)Lip2Wav (EH)Lip2Wav (HS)TCD-TIMIT corpus (mixed-speech)

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/joannahong/Speech-Reconstruction-with-Reminiscent-Sound-via-Visual-Voice-Memory 1 논문
github.com/Rudrabha/Lip2Wav 1 논문