← Language Modelling
평가 기록
과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.
표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.
| 모델 | 원본 지표·값 | 논문 | 구현 |
|---|---|---|---|
| GPT-3 (Zero-Shot) |
|
Language Models are Few-Shot Learners 2020-05-28 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 · 코드 60 · 코드 61 · 코드 62 · 코드 63 · 코드 64 · 코드 65 · 코드 66 · 코드 67 |
| BERT-Large-CAS |
|
Language Models with Transformers 2019-04-20 |
코드 1 |
| GPT-2 |
|
Language Models are Unsupervised Multitask Learners 2019-02-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| Mogrifier LSTM + dynamic eval |
|
Mogrifier LSTM 2019-09-04 |
코드 1 · 코드 2 · 코드 3 |
| adversarial + AWD-LSTM-MoS + dynamic eval |
|
Improving Neural Language Modeling via Adversarial Training 2019-06-10 |
코드 1 |
| GL-LWGC + AWD-MoS-LSTM + dynamic eval |
|
Gradual Learning of Recurrent Neural Networks 2017-08-29 |
코드 1 |
| FRAGE + AWD-LSTM-MoS + dynamic eval |
|
FRAGE: Frequency-Agnostic Word Representation 2018-09-18 |
코드 1 · 코드 2 |
| AWD-LSTM-DOC x5 |
|
Direct Output Connection for a High-Rank Language Model 2018-08-30 |
코드 1 |
| Past Decode Reg. + AWD-LSTM-MoS + dyn. eval. |
|
Improved Language Modeling by Decoding the Past 2018-08-14 |
연결 없음 |
| Ensemble of All |
|
Advancing State of the Art in Language Modeling 2023-11-28 |
코드 1 |
| AWD-LSTM-MoS + dynamic eval |
|
Breaking the Softmax Bottleneck: A High-Rank RNN Language Model 2017-11-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| AWD-LSTM-DRILL + dynamic eval |
|
Deep Residual Output Layers for Neural Language Generation 2019-05-14 |
코드 1 |
| Dense IndRNN+dynamic eval |
|
Deep Independently Recurrent Neural Network (IndRNN) 2019-10-11 |
코드 1 |
| AWD-LSTM + dynamic eval |
|
Dynamic Evaluation of Neural Sequence Models 2017-09-21 |
코드 1 · 코드 2 · 코드 3 |
| AWD-LSTM-DOC + Partial Shuffle |
|
Partially Shuffling the Training Data to Improve Language Models 2019-03-11 |
코드 1 |
| AWD-LSTM-DOC |
|
Direct Output Connection for a High-Rank Language Model 2018-08-30 |
코드 1 |
| AWD-LSTM + continuous cache pointer |
|
Regularizing and Optimizing LSTM Language Models 2017-08-07 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 |
| AWD-LSTM-MoS + Partial Shuffle |
|
Partially Shuffling the Training Data to Improve Language Models 2019-03-11 |
코드 1 |
| Trellis Network |
|
Trellis Networks for Sequence Modeling 2018-10-15 |
코드 1 |
| AWD-LSTM-MoS |
|
Breaking the Softmax Bottleneck: A High-Rank RNN Language Model 2017-11-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| AWD-FWM Schlag et al. (2020) |
|
Learning Associative Inference Using Fast Weight Memory 2020-11-16 |
코드 1 |
| Transformer-XL |
|
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| Transformer-XL + AutoDropout |
|
AutoDropout: Learning Dropout Patterns to Regularize Deep Networks 2021-01-05 |
코드 1 |
| 2-layer skip-LSTM + dropout tuning |
|
Pushing the bounds of dropout 2018-05-23 |
코드 1 |
| AWD-LSTM-DRILL |
|
Deep Residual Output Layers for Neural Language Generation 2019-05-14 |
코드 1 |
| Differentiable NAS |
|
DARTS: Differentiable Architecture Search 2018-06-24 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57 · 코드 58 · 코드 59 |
| Dense IndRNN |
|
Deep Independently Recurrent Neural Network (IndRNN) 2019-10-11 |
코드 1 |
| AWD-LSTM 3-layer with Fraternal dropout |
|
Fraternal Dropout 2017-10-31 |
코드 1 |
| DEQ-TrellisNet |
|
Deep Equilibrium Models 2019-09-03 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 |
| AWD-LSTM |
|
Regularizing and Optimizing LSTM Language Models 2017-08-07 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 |