| Transformer+BT (ADMIN init) |
- BLEU score
- 46.4
- SacreBLEU
- 44.4
|
Very Deep Transformers for Neural Machine Translation
2020-08-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| Noisy back-translation |
- BLEU score
- 45.6
- SacreBLEU
- 43.8
- Hardware Burden
- 180G
|
Understanding Back-Translation at Scale
2018-08-28 |
코드 1 · 코드 2 · 코드 3 |
| mRASP+Fine-Tune |
- BLEU score
- 44.3
- SacreBLEU
- 41.7
|
Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information
2020-10-07 |
코드 1 |
| Transformer + R-Drop |
- BLEU score
- 43.95
|
R-Drop: Regularized Dropout for Neural Networks
2021-06-28 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| Transformer (ADMIN init) |
- BLEU score
- 43.8
- SacreBLEU
- 41.8
|
Very Deep Transformers for Neural Machine Translation
2020-08-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| Admin |
- BLEU score
- 43.8
|
Understanding the Difficulty of Training Transformers
2020-04-17 |
코드 1 · 코드 2 |
| BERT-fused NMT |
- BLEU score
- 43.78
|
Incorporating BERT into Neural Machine Translation
2020-02-17 |
코드 1 · 코드 2 · 코드 3 |
| MUSE(Paralllel Multi-scale Attention) |
- BLEU score
- 43.5
|
MUSE: Parallel Multi-Scale Attention for Sequence to Sequence Learning
2019-11-17 |
코드 1 · 코드 2 · 코드 3 |
| T5 |
- BLEU score
- 43.4
|
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 |
| Local Joint Self-attention |
- BLEU score
- 43.3
|
Joint Source-Target Self Attention with Locality Constraints
2019-05-16 |
코드 1 · 코드 2 |
| Depth Growing |
- BLEU score
- 43.27
- Hardware Burden
- 24G
|
Depth Growing for Neural Machine Translation
2019-07-03 |
코드 1 |
| Transformer Big |
- BLEU score
- 43.2
- Hardware Burden
- 55G
|
Scaling Neural Machine Translation
2018-06-01 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| DynamicConv |
- BLEU score
- 43.2
|
Pay Less Attention with Lightweight and Dynamic Convolutions
2019-01-29 |
코드 1 · 코드 2 · 코드 3 |
| TaLK Convolutions |
- BLEU score
- 43.2
|
Time-aware Large Kernel Convolutions
2020-02-08 |
코드 1 |
| LightConv |
- BLEU score
- 43.1
|
Pay Less Attention with Lightweight and Dynamic Convolutions
2019-01-29 |
코드 1 · 코드 2 · 코드 3 |
| FLOATER-large |
- BLEU score
- 42.7
|
Learning to Encode Position for Transformer with Continuous Dynamical Model
2020-03-13 |
코드 1 |
| OmniNetP |
- BLEU score
- 42.6
|
OmniNet: Omnidirectional Representations from Transformers
2021-03-01 |
코드 1 |
| Transformer Big + MoS |
- BLEU score
- 42.1
|
Fast and Simple Mixture of Softmaxes with BPE and Hybrid-LightRNN for Language Generation
2018-09-25 |
코드 1 |
| T2R + Pretrain |
- BLEU score
- 42.1
|
Finetuning Pretrained Transformers into RNNs
2021-03-24 |
코드 1 · 코드 2 |
| Synthesizer (Random + Vanilla) |
- BLEU score
- 41.85
|
Synthesizer: Rethinking Self-Attention in Transformer Models
2020-05-02 |
코드 1 |
| Hardware Aware Transformer |
- BLEU score
- 41.8
|
HAT: Hardware-Aware Transformers for Efficient Natural Language Processing
2020-05-28 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| Transformer (big) + Relative Position Representations |
- BLEU score
- 41.5
|
Self-Attention with Relative Position Representations
2018-03-06 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 |
| Stack 4-layer RNNSearch + Dual Learning + Deliberation Network |
- BLEU score
- 41.5
|
Deliberation Networks: Sequence Generation Beyond One-Pass Decoding
2017-12-01 |
연결 없음 |
| Weighted Transformer (large) |
- BLEU score
- 41.4
|
Weighted Transformer Network for Machine Translation
2017-11-06 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| ConvS2S (ensemble) |
- BLEU score
- 41.3
|
Convolutional Sequence to Sequence Learning
2017-05-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| Evolved Transformer Big |
- BLEU score
- 41.3
|
The Evolved Transformer
2019-01-30 |
코드 1 · 코드 2 · 코드 3 |
| RNMT+ |
- BLEU score
- 41.0
- Hardware Burden
- 132G
- Operations per network pass
- 2.81G
|
The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation
2018-04-26 |
코드 1 · 코드 2 · 코드 3 |
| Transformer Big |
- BLEU score
- 41.0
- Hardware Burden
- 23G
- Operations per network pass
- 2300000000.0G
|
Attention Is All You Need
2017-06-12 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67 · 코드 68 · 코드 69 · 코드 70 · 코드 71 · 코드 72 · 코드 73 · 코드 74 · 코드 75 · 코드 76 · 코드 77 · 코드 78 · 코드 79 · 코드 80 · 코드 81 · 코드 82 · 코드 83 · 코드 84 · 코드 85 · 코드 86 · 코드 87 · 코드 88 · 코드 89 · 코드 90 · 코드 91 · 코드 92 · 코드 93 · 코드 94 · 코드 95 · 코드 96 · 코드 97 · 코드 98 · 코드 99 · 코드 100 · 코드 101 · 코드 102 · 코드 103 · 코드 104 · 코드 105 · 코드 106 · 코드 107 · 코드 108 · 코드 109 · 코드 110 · 코드 111 · 코드 112 · 코드 113 · 코드 114 · 코드 115 · 코드 116 · 코드 117 · 코드 118 · 코드 119 · 코드 120 · 코드 121 · 코드 122 · 코드 123 · 코드 124 · 코드 125 · 코드 126 · 코드 127 · 코드 128 · 코드 129 · 코드 130 · 코드 131 · 코드 132 · 코드 133 · 코드 134 · 코드 135 · 코드 136 · 코드 137 · 코드 138 · 코드 139 · 코드 140 · 코드 141 · 코드 142 · 코드 143 · 코드 144 · 코드 145 · 코드 146 · 코드 147 · 코드 148 · 코드 149 · 코드 150 · 코드 151 · 코드 152 · 코드 153 · 코드 154 · 코드 155 · 코드 156 · 코드 157 · 코드 158 · 코드 159 · 코드 160 · 코드 161 · 코드 162 · 코드 163 · 코드 164 · 코드 165 · 코드 166 · 코드 167 · 코드 168 · 코드 169 · 코드 170 · 코드 171 · 코드 172 · 코드 173 · 코드 174 · 코드 175 · 코드 176 · 코드 177 · 코드 178 · 코드 179 · 코드 180 · 코드 181 · 코드 182 · 코드 183 · 코드 184 · 코드 185 · 코드 186 · 코드 187 · 코드 188 · 코드 189 · 코드 190 · 코드 191 · 코드 192 · 코드 193 · 코드 194 · 코드 195 · 코드 196 · 코드 197 · 코드 198 · 코드 199 · 코드 200 · 코드 201 · 코드 202 · 코드 203 · 코드 204 · 코드 205 · 코드 206 · 코드 207 · 코드 208 · 코드 209 · 코드 210 · 코드 211 · 코드 212 · 코드 213 · 코드 214 · 코드 215 · 코드 216 · 코드 217 · 코드 218 · 코드 219 · 코드 220 · 코드 221 · 코드 222 · 코드 223 · 코드 224 · 코드 225 · 코드 226 · 코드 227 · 코드 228 · 코드 229 · 코드 230 · 코드 231 · 코드 232 · 코드 233 · 코드 234 · 코드 235 · 코드 236 · 코드 237 · 코드 238 · 코드 239 · 코드 240 · 코드 241 · 코드 242 · 코드 243 · 코드 244 · 코드 245 · 코드 246 · 코드 247 · 코드 248 · 코드 249 · 코드 250 · 코드 251 · 코드 252 · 코드 253 · 코드 254 · 코드 255 · 코드 256 · 코드 257 · 코드 258 · 코드 259 · 코드 260 · 코드 261 · 코드 262 · 코드 263 · 코드 264 · 코드 265 · 코드 266 · 코드 267 · 코드 268 · 코드 269 · 코드 270 · 코드 271 · 코드 272 · 코드 273 · 코드 274 · 코드 275 · 코드 276 · 코드 277 · 코드 278 · 코드 279 · 코드 280 · 코드 281 · 코드 282 · 코드 283 · 코드 284 · 코드 285 · 코드 286 · 코드 287 · 코드 288 · 코드 289 · 코드 290 · 코드 291 · 코드 292 · 코드 293 · 코드 294 · 코드 295 · 코드 296 · 코드 297 · 코드 298 · 코드 299 · 코드 300 · 코드 301 · 코드 302 · 코드 303 · 코드 304 · 코드 305 · 코드 306 · 코드 307 · 코드 308 · 코드 309 · 코드 310 · 코드 311 · 코드 312 · 코드 313 · 코드 314 · 코드 315 · 코드 316 · 코드 317 · 코드 318 · 코드 319 · 코드 320 · 코드 321 · 코드 322 · 코드 323 · 코드 324 · 코드 325 · 코드 326 · 코드 327 · 코드 328 · 코드 329 · 코드 330 · 코드 331 · 코드 332 · 코드 333 · 코드 334 · 코드 335 · 코드 336 · 코드 337 · 코드 338 · 코드 339 · 코드 340 · 코드 341 · 코드 342 · 코드 343 · 코드 344 · 코드 345 · 코드 346 · 코드 347 · 코드 348 · 코드 349 · 코드 350 · 코드 351 · 코드 352 · 코드 353 · 코드 354 · 코드 355 · 코드 356 · 코드 357 · 코드 358 · 코드 359 · 코드 360 · 코드 361 · 코드 362 · 코드 363 · 코드 364 · 코드 365 · 코드 366 · 코드 367 · 코드 368 · 코드 369 · 코드 370 · 코드 371 · 코드 372 · 코드 373 · 코드 374 · 코드 375 · 코드 376 · 코드 377 · 코드 378 · 코드 379 · 코드 380 · 코드 381 · 코드 382 · 코드 383 · 코드 384 · 코드 385 · 코드 386 · 코드 387 · 코드 388 · 코드 389 · 코드 390 · 코드 391 · 코드 392 · 코드 393 · 코드 394 · 코드 395 · 코드 396 · 코드 397 · 코드 398 · 코드 399 · 코드 400 · 코드 401 · 코드 402 · 코드 403 · 코드 404 · 코드 405 · 코드 406 · 코드 407 · 코드 408 · 코드 409 · 코드 410 · 코드 411 · 코드 412 · 코드 413 · 코드 414 · 코드 415 · 코드 416 · 코드 417 · 코드 418 · 코드 419 · 코드 420 · 코드 421 · 코드 422 · 코드 423 · 코드 424 · 코드 425 · 코드 426 · 코드 427 · 코드 428 · 코드 429 · 코드 430 · 코드 431 · 코드 432 · 코드 433 · 코드 434 · 코드 435 · 코드 436 · 코드 437 · 코드 438 · 코드 439 · 코드 440 · 코드 441 · 코드 442 · 코드 443 · 코드 444 · 코드 445 · 코드 446 · 코드 447 · 코드 448 · 코드 449 · 코드 450 · 코드 451 · 코드 452 · 코드 453 · 코드 454 · 코드 455 · 코드 456 · 코드 457 · 코드 458 · 코드 459 · 코드 460 · 코드 461 · 코드 462 · 코드 463 · 코드 464 · 코드 465 · 코드 466 · 코드 467 · 코드 468 · 코드 469 · 코드 470 · 코드 471 · 코드 472 · 코드 473 · 코드 474 · 코드 475 · 코드 476 · 코드 477 · 코드 478 · 코드 479 · 코드 480 · 코드 481 · 코드 482 · 코드 483 · 코드 484 · 코드 485 · 코드 486 · 코드 487 · 코드 488 · 코드 489 · 코드 490 · 코드 491 · 코드 492 · 코드 493 · 코드 494 · 코드 495 · 코드 496 · 코드 497 · 코드 498 · 코드 499 · 코드 500 · 코드 501 · 코드 502 · 코드 503 · 코드 504 · 코드 505 · 코드 506 · 코드 507 · 코드 508 · 코드 509 · 코드 510 · 코드 511 · 코드 512 · 코드 513 · 코드 514 · 코드 515 · 코드 516 · 코드 517 · 코드 518 · 코드 519 · 코드 520 · 코드 521 · 코드 522 · 코드 523 · 코드 524 · 코드 525 · 코드 526 · 코드 527 · 코드 528 · 코드 529 · 코드 530 · 코드 531 · 코드 532 · 코드 533 · 코드 534 · 코드 535 · 코드 536 · 코드 537 · 코드 538 · 코드 539 · 코드 540 · 코드 541 · 코드 542 · 코드 543 · 코드 544 · 코드 545 · 코드 546 · 코드 547 · 코드 548 · 코드 549 · 코드 550 · 코드 551 · 코드 552 · 코드 553 · 코드 554 · 코드 555 · 코드 556 · 코드 557 · 코드 558 · 코드 559 · 코드 560 · 코드 561 · 코드 562 · 코드 563 · 코드 564 · 코드 565 · 코드 566 · 코드 567 · 코드 568 · 코드 569 · 코드 570 · 코드 571 · 코드 572 · 코드 573 · 코드 574 · 코드 575 · 코드 576 · 코드 577 · 코드 578 · 코드 579 · 코드 580 · 코드 581 · 코드 582 · 코드 583 · 코드 584 · 코드 585 · 코드 586 · 코드 587 · 코드 588 · 코드 589 · 코드 590 · 코드 591 · 코드 592 · 코드 593 · 코드 594 · 코드 595 |
| Evolved Transformer Base |
- BLEU score
- 40.6
|
The Evolved Transformer
2019-01-30 |
코드 1 · 코드 2 · 코드 3 |
| ResMLP-12 |
- BLEU score
- 40.6
|
ResMLP: Feedforward networks for image classification with data-efficient training
2021-05-07 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 |