← Language Modelling
평가 기록
과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.
표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.
| 모델 | 원본 지표·값 | 논문 | 구현 |
|---|---|---|---|
| Transformer-XL + RMS dynamic eval |
|
Dynamic Evaluation of Transformer Language Models 2019-04-17 |
코드 1 |
| Compressive Transformer |
|
Compressive Transformers for Long-Range Sequence Modelling 2019-11-13 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| Mogrifier LSTM + dynamic eval |
|
Mogrifier LSTM 2019-09-04 |
코드 1 · 코드 2 · 코드 3 |
| 24-layer Transformer-XL |
|
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| Longformer Large |
|
Longformer: The Long-Document Transformer 2020-04-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 |
| Longformer Small |
|
Longformer: The Long-Document Transformer 2020-04-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 |
| 18-layer Transformer-XL |
|
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| 64-layer Character Transformer Model |
|
Character-Level Language Modeling with Deeper Self-Attention 2018-08-09 |
코드 1 |
| 12-layer Transformer-XL |
|
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| mLSTM + dynamic eval |
|
Dynamic Evaluation of Neural Sequence Models 2017-09-21 |
코드 1 · 코드 2 · 코드 3 |
| 12-layer Character Transformer Model |
|
Character-Level Language Modeling with Deeper Self-Attention 2018-08-09 |
코드 1 |
| Mogrifier LSTM |
|
Mogrifier LSTM 2019-09-04 |
코드 1 · 코드 2 · 코드 3 |
| 3-layer AWD-LSTM |
|
An Analysis of Neural Language Modeling at Multiple Scales 2018-03-22 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 |
| Large mLSTM +emb +WN +VD |
|
Multiplicative LSTM for sequence modelling 2016-09-26 |
코드 1 |
| Large FS-LSTM-4 |
|
Fast-Slow Recurrent Neural Networks 2017-05-24 |
코드 1 |
| Large RHN |
|
Recurrent Highway Networks 2016-07-12 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| FS-LSTM-4 |
|
Fast-Slow Recurrent Neural Networks 2017-05-24 |
코드 1 |
| RHN - depth 5 [zilly2016recurrent] |
|
Recurrent Highway Networks 2016-07-12 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |