← Audio-Visual Speech Recognition

Papers with Code · CC BY-SA 4.0

LRS3-TED

아카이브 평가 12건 · 마지막 적재/변경 2026-10-30

원본 데이터셋 링크 1

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
MMS-LLaMA	Word Error Rate (WER) 0.74	MMS-LLaMA: Efficient LLM-based Audio-Visual Speech Recognition with Minimal Multimodal Speech Tokens 2025-03-14	코드 1
Whisper-Flamingo	Word Error Rate (WER) 0.76	Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation 2024-06-14	코드 1
Llama-AVSR	Word Error Rate (WER) 0.77	Large Language Models are Strong Audio-Visual Speech Recognition Learners 2024-09-18	코드 1
CTC/Attention	Word Error Rate (WER) 0.9	Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels 2023-03-25	코드 1 · 코드 2
DistillAV	Word Error Rate (WER) 1.3	Audio-Visual Representation Learning via Knowledge Distillation from Speech Foundation Models 2025-02-09	코드 1
AV-HuBERT Large	Word Error Rate (WER) 1.4	Robust Self-Supervised Audio-Visual Speech Recognition 2022-01-05	코드 1
RAVEn Large	Word Error Rate (WER) 1.4	Jointly Learning Visual and Auditory Speech Representations from Raw Data 2022-12-12	코드 1
Zero-AVSR	Word Error Rate (WER) 1.5	Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning Language-Agnostic Speech Representations 2025-03-08	코드 1
Hyb-Conformer	Word Error Rate (WER) 2.3	End-to-end Audio-visual Speech Recognition with Conformers 2021-02-12	코드 1 · 코드 2 · 코드 3
RNN-T	Word Error Rate (WER) 4.5	Recurrent Neural Network Transducer for Audio-Visual Speech Recognition 2019-11-08	코드 1
EG-seq2seq	Word Error Rate (WER) 6.8	Discriminative Multi-modality Speech Recognition 2020-05-12	코드 1 · 코드 2
TM-seq2seq	Word Error Rate (WER) 7.2	Deep Audio-Visual Speech Recognition 2018-09-06	코드 1 · 코드 2 · 코드 3 · 코드 4