PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Speech-to-Text Translation

31 평가 기록 11 datasets

Translate audio signals of speech in one language into text in a foreign language, either in an end-to-end or cascade manner.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
Task Modulation + Multitask Learning(ASR/MT) + Data Augmentation
Case-sensitive sacreBLEU: 28.88
논문 -
Transformer with Adapters
Case-sensitive sacreBLEU: 28.73
논문 코드
Dual-decoder Transformer
Case-sensitive sacreBLEU: 33.45
논문 코드
SeamlessM4T Large
BLEU: 34.1
논문 코드
SeamlessM4T Large
BLEU: 30.6
논문 코드
SeamlessM4T Large
BLEU: 24.0
논문 코드
SeamlessM4T Large
BLEU: 21.5
논문 코드
MediBeng Whisper Tiny
Bleu: 0.98
논문 코드
Transformer with Adapters
SacreBLEU: 26.61
논문 코드
Transformer + ASR Pretrain + SpecAug
Case-insensitive tokenized BLEU: 18.7Case-insensitive sacreBLEU: 17.2Case-sensitive sacreBLEU: 16.3Case-sensitive tokenized BLEU: 17.8
논문 코드
Speechformer
Case-sensitive sacreBLEU: 27.7
논문 코드

데이터셋

11개
MuST-C EN->DEMuST-C EN->ESMuST-C EN->FRCoVoST 2 X-engCoVoST 2 eng-XFLEURS X-engFLEURS eng-XMediBengMuST-Clibri-transMuST-C EN->NL

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/bytedance/neurst 1 논문
github.com/formiel/speech-translation 1 논문
github.com/facebookresearch/seamless_communication 1 논문
github.com/facebookresearch/sonar 1 논문
github.com/formiel/fairseq 1 논문
github.com/formiel/fairseq/blob/master/examples/speech_to_text/docs/adapters.md 1 논문
github.com/huggingface/transformers 1 논문
github.com/mt-upc/iwslt-2021 1 논문

하위 태스크

SS Simultaneous Speech-to-Text Translation 0 데이터셋 · 0 rows