← Language Modelling
평가 기록
과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.
표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.
| 모델 | 원본 지표·값 | 논문 | 구현 |
|---|---|---|---|
| RETRO (7.5B) |
|
Improving language models by retrieving from trillions of tokens 2021-12-08 |
코드 1 · 코드 2 |
| Hybrid H3 (2.7B) |
|
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28 |
코드 1 · 코드 2 · 코드 3 |
| Megatron-LM |
|
Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism 2019-09-17 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 |
| GLM-XXLarge (bidirectional) |
|
GLM: General Language Model Pretraining with Autoregressive Blank Infilling 2021-03-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| GLM-XXLarge (unidirectional) |
|
GLM: General Language Model Pretraining with Autoregressive Blank Infilling 2021-03-18 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 |
| Hybrid H3 (1.3B) |
|
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28 |
코드 1 · 코드 2 · 코드 3 |
| Ensemble of All |
|
Advancing State of the Art in Language Modeling 2023-11-28 |
코드 1 |
| GateLoop (125M) |
|
GateLoop: Fully Data-Controlled Linear Recurrence for Sequence Modeling 2023-11-03 |
코드 1 · 코드 2 · 코드 3 |
| kNN-LM w/ Adaptive Coefficient |
|
You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM 2022-10-28 |
코드 1 |
| kNN-LM w/ Continuous Cache |
|
Generalization through Memorization: Nearest Neighbor Language Models 2019-11-01 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| Routing Transformer |
|
Efficient Content-Based Sparse Attention with Routing Transformers 2020-03-12 |
코드 1 · 코드 2 |
| kNN-LM |
|
Generalization through Memorization: Nearest Neighbor Language Models 2019-11-01 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 |
| Transformer-XL (RMS dynamic eval) |
|
Dynamic Evaluation of Transformer Language Models 2019-04-17 |
코드 1 |
| [?]-former (SM) |
|
$\infty$-former: Infinite Memory Transformer 2021-09-01 |
코드 1 |
| -former (SM) |
|
$\infty$-former: Infinite Memory Transformer 2021-09-01 |
코드 1 |
| ∞-former (Sticky memories + initialized GPT-2 Small) |
|
$\infty$-former: Infinite Memory Transformer 2021-09-01 |
코드 1 |
| ∞-former (initialized GPT-2 Small) |
|
$\infty$-former: Infinite Memory Transformer 2021-09-01 |
코드 1 |
| Hybrid H3 (355M) |
|
Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28 |
코드 1 · 코드 2 · 코드 3 |
| Transformer-XL (SGD dynamic eval) |
|
Dynamic Evaluation of Transformer Language Models 2019-04-17 |
코드 1 |
| Compressive Transformer (18L, M=1024) |
|
Compressive Transformers for Long-Range Sequence Modelling 2019-11-13 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| SRU++ Large |
|
When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute 2021-02-24 |
코드 1 |
| SegaTransformer-XL |
|
Segatron: Segment-Aware Transformer for Language Modeling and Understanding 2020-04-30 |
코드 1 |
| Transformer+SSA+Self-ensemble |
|
The Information Pathways Hypothesis: Transformers are Dynamic Self-Ensembles 2023-06-02 |
코드 1 |
| Transformer-XL Large + Phrase Induction |
|
Improving Neural Language Models by Segmenting, Attending, and Predicting the Future 2019-06-04 |
코드 1 |
| GPT-2 Full |
|
Language Models are Unsupervised Multitask Learners 2019-02-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| Staged Training |
|
Shortformer: Better Language Modeling using Shorter Inputs 2020-12-31 |
코드 1 |
| Transformer+SSA |
|
The Information Pathways Hypothesis: Transformers are Dynamic Self-Ensembles 2023-06-02 |
코드 1 |
| Sandwich Transformer |
|
Improving Transformer Models by Reordering their Sublayers 2019-11-10 |
코드 1 · 코드 2 |
| DIFFQ (λ=1, g=16) |
|
Differentiable Model Compression via Pseudo Quantization Noise 2021-04-20 |
코드 1 |
| Mega |
|
Mega: Moving Average Equipped Gated Attention 2022-09-21 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 |