| Efficient NAS |
- Validation perplexity
- 60.8
- Test perplexity
- 58.6
- Params
- 24M
|
Efficient Neural Architecture Search via Parameter Sharing 2018-02-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 |
| NAS-RL |
- Test perplexity
- 64.0
- Params
- 25M
|
Neural Architecture Search with Reinforcement Learning 2016-11-05 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |
| Recurrent highway networks |
- Validation perplexity
- 67.9
- Test perplexity
- 65.4
- Params
- 23M
|
Recurrent Highway Networks 2016-07-12 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| Inan et al. (2016) - Variational RHN |
- Validation perplexity
- 68.1
- Test perplexity
- 66.0
|
Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling 2016-11-04 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| Gal & Ghahramani (2016) - Variational LSTM (large) |
- Validation perplexity
- 77.9
- Test perplexity
- 75.2
|
A Theoretically Grounded Application of Dropout in Recurrent Neural Networks 2015-12-16 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 |
| Zaremba et al. (2014) - LSTM (large) |
- Validation perplexity
- 82.2
- Test perplexity
- 78.4
|
Recurrent Neural Network Regularization 2014-09-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| LSTM (Bai et al., 2018) |
- Test perplexity
- 78.93
|
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 2018-03-04 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 |
| Gal & Ghahramani (2016) - Variational LSTM (medium) |
- Validation perplexity
- 81.9
- Test perplexity
- 79.7
|
A Theoretically Grounded Application of Dropout in Recurrent Neural Networks 2015-12-16 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 |
| Zaremba et al. (2014) - LSTM (medium) |
- Validation perplexity
- 86.2
- Test perplexity
- 82.7
|
Recurrent Neural Network Regularization 2014-09-08 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| R-Transformer |
- Test perplexity
- 84.38
|
R-Transformer: Recurrent Neural Network Enhanced Transformer 2019-07-12 |
코드 1 · 코드 2 |
| GRU (Bai et al., 2018) |
- Test perplexity
- 92.48
|
An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 2018-03-04 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 |
| Seq-U-Net |
- Test perplexity
- 107.95
- Params
- 14.9M
|
Seq-U-Net: A One-Dimensional Causal U-Net for Efficient Sequence Modelling 2019-11-14 |
코드 1 |
| TCN |
- Test perplexity
- 108.47
- Params
- 14.7M
|
Seq-U-Net: A One-Dimensional Causal U-Net for Efficient Sequence Modelling 2019-11-14 |
코드 1 |