Papers with Code · CC BY-SA 4.0

Unconstrained Lip-synchronization

Facial Recognition and Modelling › Face Generation › Talking Head Generation › Unconstrained Lip-synchronization 7 평가 기록 3 datasets

Given a video of an arbitrary person, and an arbitrary driving speech, the task is to generate a lip-synced video that matches the given speech.

This task requires the approach to not be constrained by identity, voice, or language.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode

LRS2

Wav2Lip + ViT + MARLIN

LSE-D: 7.127LSE-C: 5.528FID: 3.452

논문 코드

LRS3

Wav2Lip + GAN

LSE-D: 6.986LSE-C: 7.574FID: 4.35

논문 코드

LRW

Wav2Lip + GAN

LSE-D: 6.774LSE-C: 7.263FID: 2.475

논문 코드

3개

2008.10010 2020-08-23 이 페이지의 평가 6건

LSE-D: 6.469FID: 4.446

2211.06627 2022-11-12 이 페이지의 평가 1건

LSE-D: 7.127LSE-C: 5.528FID: 3.452

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/mowshon/lipsync 1 논문

github.com/PrashanthaTP/wav2mov 1 논문

github.com/Rudrabha/Wav2Lip 1 논문

github.com/ControlNet/MARLIN 1 논문