← Language Modelling
평가 기록
과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.
표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.
| 모델 | 원본 지표·값 | 논문 | 구현 |
|---|---|---|---|
| GPT-2 |
|
Language Models are Unsupervised Multitask Learners 2019-02-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| Focus |
|
Focus Your Attention (with Adaptive IIR Filters) 2023-05-24 |
연결 없음 |
| Transformer-XL + RMS dynamic eval + decay |
|
Dynamic Evaluation of Transformer Language Models 2019-04-17 |
코드 1 |
| 24L Transformer + 8K adaptive span |
|
Adaptive Attention Span in Transformers 2019-05-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| Transformer-XL - 24 layers |
|
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| All-attention network - 36 layers |
|
Augmenting Self-attention with Persistent Memory 2019-07-02 |
코드 1 · 코드 2 |
| Transformer-LS (small) |
|
Long-Short Transformer: Efficient Transformers for Language and Vision 2021-07-05 |
코드 1 · 코드 2 · 코드 3 |
| 12L Transformer + 8K adaptive span |
|
Adaptive Attention Span in Transformers 2019-05-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| All-attention network - 18 layers |
|
Augmenting Self-attention with Persistent Memory 2019-07-02 |
코드 1 · 코드 2 |
| BP-Transformer - 12 Layers |
|
BP-Transformer: Modelling Long-Range Context via Binary Partitioning 2019-11-11 |
코드 1 · 코드 2 |
| 64-layer Character Transformer Model |
|
Character-Level Language Modeling with Deeper Self-Attention 2018-08-09 |
코드 1 |
| GAM-RHN-10 |
|
Recurrent Highway Networks with Grouped Auxiliary Memory 2019-12-13 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| 12-layer Character Transformer Model |
|
Character-Level Language Modeling with Deeper Self-Attention 2018-08-09 |
코드 1 |
| PAR Transformer 24B |
|
Pay Attention when Required 2020-09-09 |
코드 1 · 코드 2 |
| mLSTM + dynamic eval |
|
Dynamic Evaluation of Neural Sequence Models 2017-09-21 |
코드 1 · 코드 2 · 코드 3 |
| Bipartite flows (8 flows) |
|
Discrete Flows: Invertible Generative Models of Discrete Data 2019-05-24 |
코드 1 · 코드 2 |
| Large RHN |
|
Recurrent Highway Networks 2016-07-12 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| Large mLSTM +emb +WN +VD |
|
Multiplicative LSTM for sequence modelling 2016-09-26 |
코드 1 |
| LayerNorm HM-LSTM |
|
Hierarchical Multiscale Recurrent Neural Networks 2016-09-06 |
코드 1 · 코드 2 · 코드 3 |
| BN LSTM |
|
Recurrent Batch Normalization 2016-03-30 |
코드 1 · 코드 2 · 코드 3 |
| Unregularised mLSTM |
|
Multiplicative LSTM for sequence modelling 2016-09-26 |
코드 1 |
| BFN |
|
Bayesian Flow Networks 2023-08-14 |
코드 1 |
| td-LSTM-large |
|
Architectural Complexity Measures of Recurrent Neural Networks 2016-02-26 |
연결 없음 |
| td-LSTM (Zhang et al., 2016) |
|
Architectural Complexity Measures of Recurrent Neural Networks 2016-02-26 |
연결 없음 |