PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Talking Head Generation

22 평가 기록 10 datasets

Talking head generation is the task of generating a talking face from a set of images of a person.

<span style="color:grey; opacity: 0.6">( Image credit: Few-Shot Adversarial Learning of Realistic Neural Talking Head Models )</span>

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
Fast Bi-layer Avatars (medium size)
LPIPS: 0.358SSIM: 0.508CSIM: 0.653Normalized Pose Error: 43.3
논문 코드
Wav2Lip + ViT + MARLIN
LSE-D: 7.127LSE-C: 5.528FID: 3.452
논문 코드
Wav2Lip + GAN
LSE-D: 6.986LSE-C: 7.574FID: 4.35
논문 코드
LRW
Wav2Lip + GAN
LSE-D: 6.774LSE-C: 7.263FID: 2.475
논문 코드
Few-shot Adversarial Model
FID: 43.0
논문 코드
Few-shot Adversarial Model
FID: 29.5
논문 코드
Few-shot Adversarial Model
FID: 38.0
논문 코드
CainGAN
FID: 24.9
논문 -
Ashok
10%: 12
논문 코드
Few-shot Adversarial Model
FID: 30.6
논문 코드

데이터셋

10개
VoxCeleb2 - 1-shot learningLRS2LRS3LRWVoxCeleb1 - 1-shot learningVoxCeleb1 - 32-shot learningVoxCeleb1 - 8-shot learningVoxCeleb2 - 8-shot learning100 sleep nights of 8 caregiversVoxCeleb2 - 32-shot learning

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/grey-eye/talking-heads 1 논문
github.com/Ierezell/PapierFewShot 1 논문
github.com/shoutOutYangJie/Few-Shot-Adversarial-Learning-for-face-swap 1 논문
github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models 1 논문
github.com/ZVK/talking_heads 1 논문
github.com/ZVK/Talking-Heads 1 논문
github.com/saic-violet/bilayer-model 1 논문
github.com/GabrielEGC/IHMC-Robotics 1 논문

하위 태스크

UL Unconstrained Lip-synchronization 3 데이터셋 · 7 rows