| Transformer Cycle (Rev) |
- BLEU score
- 35.14
- SacreBLEU
- 33.54
|
Lessons on Parameter Sharing across Layers in Transformers 2021-04-13 |
코드 1 · 코드 2 |
| Noisy back-translation |
- BLEU score
- 35.0
- SacreBLEU
- 33.8
- Hardware Burden
- 146G
|
Understanding Back-Translation at Scale 2018-08-28 |
코드 1 · 코드 2 · 코드 3 |
| Transformer+Rep(Uni) |
- BLEU score
- 33.89
- SacreBLEU
- 32.35
|
Rethinking Perturbations in Encoder-Decoders for Fast Training 2021-04-05 |
코드 1 |
| T5-11B |
- BLEU score
- 32.1
- Number of Params
- 11110M
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| BiBERT |
- BLEU score
- 31.26
|
BERT, mBERT, or BiBERT? A Study on Contextualized Embeddings for Neural Machine Translation 2021-09-09 |
코드 1 · 코드 2 |
| Transformer + R-Drop |
- BLEU score
- 30.91
- Hardware Burden
- 49G
|
R-Drop: Regularized Dropout for Neural Networks 2021-06-28 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| Bi-SimCut |
- BLEU score
- 30.78
|
Bi-SimCut: A Simple Strategy for Boosting Neural Machine Translation 2022-06-06 |
코드 1 |
| BERT-fused NMT |
- BLEU score
- 30.75
|
Incorporating BERT into Neural Machine Translation 2020-02-17 |
코드 1 · 코드 2 · 코드 3 |
| Data Diversification - Transformer |
- BLEU score
- 30.7
|
Data Diversification: A Simple Strategy For Neural Machine Translation 2019-11-05 |
코드 1 · 코드 2 |
| SimCut |
- BLEU score
- 30.56
|
Bi-SimCut: A Simple Strategy for Boosting Neural Machine Translation 2022-06-06 |
코드 1 |
| Mask Attention Network (big) |
- BLEU score
- 30.4
- Number of Params
- 215M
|
Mask Attention Networks: Rethinking and Strengthen Transformer 2021-03-25 |
코드 1 |
| Transformer (ADMIN init) |
- BLEU score
- 30.1
- SacreBLEU
- 29.5
- Number of Params
- 256M
|
Very Deep Transformers for Neural Machine Translation 2020-08-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| PowerNorm (Transformer) |
- BLEU score
- 30.1
|
PowerNorm: Rethinking Batch Normalization in Transformers 2020-03-17 |
코드 1 |
| Depth Growing |
- BLEU score
- 30.07
- Hardware Burden
- 24G
|
Depth Growing for Neural Machine Translation 2019-07-03 |
코드 1 |
| MUSE(Parallel Multi-scale Attention) |
- BLEU score
- 29.9
|
MUSE: Parallel Multi-Scale Attention for Sequence to Sequence Learning 2019-11-17 |
코드 1 · 코드 2 · 코드 3 |
| Evolved Transformer Big |
- BLEU score
- 29.8
- SacreBLEU
- 29.2
- Number of Params
- 218M
|
The Evolved Transformer 2019-01-30 |
코드 1 · 코드 2 · 코드 3 |
| OmniNetP |
- BLEU score
- 29.8
|
OmniNet: Omnidirectional Representations from Transformers 2021-03-01 |
코드 1 |
| DynamicConv |
- BLEU score
- 29.7
- Number of Params
- 213M
|
Pay Less Attention with Lightweight and Dynamic Convolutions 2019-01-29 |
코드 1 · 코드 2 · 코드 3 |
| Local Joint Self-attention |
- BLEU score
- 29.7
|
Joint Source-Target Self Attention with Locality Constraints 2019-05-16 |
코드 1 · 코드 2 |
| TaLK Convolutions |
- BLEU score
- 29.6
- Number of Params
- 209M
|
Time-aware Large Kernel Convolutions 2020-02-08 |
코드 1 |
| Transformer Big + MoS |
- BLEU score
- 29.6
|
Fast and Simple Mixture of Softmaxes with BPE and Hybrid-LightRNN for Language Generation 2018-09-25 |
코드 1 |
| AdvAug (aut+adv) |
- BLEU score
- 29.57
|
AdvAug: Robust Adversarial Augmentation for Neural Machine Translation 2020-06-21 |
연결 없음 |
| PartialFormer |
- BLEU score
- 29.56
- Number of Params
- 68M
|
PartialFormer: Modeling Part Instead of Whole for Machine Translation 2023-10-23 |
코드 1 |
| Transformer Big + adversarial MLE |
- BLEU score
- 29.52
|
Improving Neural Language Modeling via Adversarial Training 2019-06-10 |
코드 1 |
| Transformer Big |
- BLEU score
- 29.3
- Number of Params
- 210M
- Hardware Burden
- 9G
|
Scaling Neural Machine Translation 2018-06-01 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| Subformer-xlarge |
- BLEU score
- 29.3
|
Subformer: A Parameter Reduced Transformer 2021-01-01 |
연결 없음 |
| SB-NMT |
- BLEU score
- 29.21
|
Synchronous Bidirectional Neural Machine Translation 2019-05-13 |
코드 1 · 코드 2 |
| Transformer (big) + Relative Position Representations |
- BLEU score
- 29.2
|
Self-Attention with Relative Position Representations 2018-03-06 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 |
| FLOATER-large |
- BLEU score
- 29.2
|
Learning to Encode Position for Transformer with Continuous Dynamical Model 2020-03-13 |
코드 1 |
| Local Transformer |
- BLEU score
- 29.2
|
Modeling Localness for Self-Attention Networks 2018-10-24 |
연결 없음 |