← Language Modelling
평가 기록
과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.
표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.
| 모델 | 원본 지표·값 | 논문 | 구현 |
|---|---|---|---|
| GPT-2 (48 layers, h=1600) |
|
Language Models are Unsupervised Multitask Learners 2019-02-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| Transformer-XL (24 layers, RMS dynamic eval, decay) |
|
Dynamic Evaluation of Transformer Language Models 2019-04-17 |
코드 1 |
| Focus |
|
Focus Your Attention (with Adaptive IIR Filters) 2023-05-24 |
연결 없음 |
| Expire-Span (24 layers) |
|
Not All Memories are Created Equal: Learning to Forget by Expiring 2021-05-13 |
코드 1 |
| SRU++ Large |
|
When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute 2021-02-24 |
코드 1 |
| Feedback Transformer |
|
Addressing Some Limitations of Transformers with Feedback Memory 2020-02-21 |
코드 1 · 코드 2 · 코드 3 · 코드 4 |
| Sandwich Transformer (adaptive span) |
|
Improving Transformer Models by Reordering their Sublayers 2019-11-10 |
코드 1 · 코드 2 |
| Compressive Transformer (24 layers) |
|
Compressive Transformers for Long-Range Sequence Modelling 2019-11-13 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| Transformer-LS (large) |
|
Long-Short Transformer: Efficient Transformers for Language and Vision 2021-07-05 |
코드 1 · 코드 2 · 코드 3 |
| SRU++ Base |
|
When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute 2021-02-24 |
코드 1 |
| Transformer (24 layers, 8k adaptive span) |
|
Adaptive Attention Span in Transformers 2019-05-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| Transformer-XL (24 layers) |
|
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| Longformer (30 layers, h=512) |
|
Longformer: The Long-Document Transformer 2020-04-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 |
| Sparse Transformer (30 layers, fixed attn) |
|
Generating Long Sequences with Sparse Transformers 2019-04-23 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |
| Routing Transformer (12 layers) |
|
Efficient Content-Based Sparse Attention with Routing Transformers 2020-03-12 |
코드 1 · 코드 2 |
| Transformer-LS (small) |
|
Long-Short Transformer: Efficient Transformers for Language and Vision 2021-07-05 |
코드 1 · 코드 2 · 코드 3 |
| Hourglass |
|
Hierarchical Transformers Are More Efficient Language Models 2021-10-26 |
코드 1 · 코드 2 · 코드 3 |
| Longformer (12 layers, h=512) |
|
Longformer: The Long-Document Transformer 2020-04-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 |
| All-attention network (18 layers) |
|
Augmenting Self-attention with Persistent Memory 2019-07-02 |
코드 1 · 코드 2 |
| Transformer (12 layers, 8k adaptive span) |
|
Adaptive Attention Span in Transformers 2019-05-19 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| BP-Transformer (12 layers) |
|
BP-Transformer: Modelling Long-Range Context via Binary Partitioning 2019-11-11 |
코드 1 · 코드 2 |
| Transformer+SSA |
|
The Information Pathways Hypothesis: Transformers are Dynamic Self-Ensembles 2023-06-02 |
코드 1 |
| Transformer-XL (18 layers) |
|
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| Skip Cross-Head Transformer-XL |
|
Memory-efficient Stochastic methods for Memory-based Transformers 2023-11-14 |
코드 1 |
| Transformer (64 layers) |
|
Character-Level Language Modeling with Deeper Self-Attention 2018-08-09 |
코드 1 |
| Transformer-XL (12 layers) |
|
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 |
| SHA-RNN (4 layers, h=1024, attention head per layer) |
|
Single Headed Attention RNN: Stop Thinking With Your Head 2019-11-26 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| SHA-RNN (4 layers, h=1024, single attention head) |
|
Single Headed Attention RNN: Stop Thinking With Your Head 2019-11-26 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| 64-layer Character Transformer Model |
|
Character-Level Language Modeling with Deeper Self-Attention 2018-08-09 |
코드 1 |
| Mogrifier LSTM |
|
Mogrifier LSTM 2019-09-04 |
코드 1 · 코드 2 · 코드 3 |