PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Lip to Speech Synthesis

Visual Speech Recognition › Lip to Speech Synthesis 14 평가 기록 8 datasets

Given a silent video of a speaker, generate the corresponding speech that matches the lip movements.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
Visual Voice Memory
STOI: 0.738ESTOI: 0.579PESQ: 1.984
논문 코드
Visual Voice Memory
STOI: 0.566ESTOI: 0.429PESQ: 1.529
논문 코드
Visual Voice Memory
STOI: 0.506ESTOI: 0.334PESQ: 1.503
논문 코드
Visual Voice Memory
STOI: 0.576ESTOI: 0.402PESQ: 1.612
논문 코드
Visual Voice Memory
STOI: 0.463ESTOI: 0.304PESQ: 1.362
논문 코드
Visual Voice Memory
STOI: 0.504ESTOI: 0.337PESQ: 1.366
논문 코드
LRW
Lip2Wav
STOI: 0.543ESTOI: 0.344PESQ: 1.197
논문 코드
Lip2Wav
STOI: 0.558ESTOI: 36.5PESQ: 1.35
논문 코드

데이터셋

8개
GRID corpus (mixed-speech)Lip2Wav (Chem)Lip2Wav (Chess)Lip2Wav (DL)Lip2Wav (EH)Lip2Wav (HS)LRWTCD-TIMIT corpus (mixed-speech)

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/Rudrabha/Lip2Wav 1 논문
github.com/joannahong/Speech-Reconstruction-with-Reminiscent-Sound-via-Visual-Voice-Memory 1 논문

하위 태스크

SL Speaker-Specific Lip to Speech Synthesis 7 데이터셋 · 13 rows