← Language Modelling
평가 기록
과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.
표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.
| 모델 | 원본 지표·값 | 논문 | 구현 |
|---|---|---|---|
| SparseGPT (175B, 50% Sparsity) |
|
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| OPT-175B |
|
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| SparseGPT (175B, 4:8 Sparsity) |
|
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| SparseGPT (175B, 2:4 Sparsity) |
|
SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 |
| GPT-2 (fine-tuned) |
|
Hydra: A System for Large Multi-Model Deep Learning 2021-10-16 |
코드 1 |
| GPT-2 |
|
Language Models are Unsupervised Multitask Learners 2019-02-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| GPT-2 (large) |
|
Language Models are Unsupervised Multitask Learners 2019-02-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| GPT-2 (medium) |
|
Language Models are Unsupervised Multitask Learners 2019-02-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| GPT-2 (small) |
|
Language Models are Unsupervised Multitask Learners 2019-02-14 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 |
| BERT-Large-CAS |
|
Language Models with Transformers 2019-04-20 |
코드 1 |
| Mogrifier LSTM + dynamic eval |
|
Mogrifier LSTM 2019-09-04 |
코드 1 · 코드 2 · 코드 3 |
| adversarial + AWD-LSTM-MoS + dynamic eval |
|
Improving Neural Language Modeling via Adversarial Training 2019-06-10 |
코드 1 |
| FRAGE + AWD-LSTM-MoS + dynamic eval |
|
FRAGE: Frequency-Agnostic Word Representation 2018-09-18 |
코드 1 · 코드 2 |
| Past Decode Reg. + AWD-LSTM-MoS + dyn. eval. |
|
Improved Language Modeling by Decoding the Past 2018-08-14 |
연결 없음 |
| GL-LWGC + AWD-MoS-LSTM + dynamic eval |
|
Gradual Learning of Recurrent Neural Networks 2017-08-29 |
코드 1 |
| AWD-LSTM-MoS + dynamic eval |
|
Breaking the Softmax Bottleneck: A High-Rank RNN Language Model 2017-11-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| AWD-LSTM-DRILL + dynamic eval |
|
Deep Residual Output Layers for Neural Language Generation 2019-05-14 |
코드 1 |
| AWD-LSTM + dynamic eval |
|
Dynamic Evaluation of Neural Sequence Models 2017-09-21 |
코드 1 · 코드 2 · 코드 3 |
| AWD-LSTM + continuous cache pointer |
|
Regularizing and Optimizing LSTM Language Models 2017-08-07 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 |
| AWD-LSTM-DOC x5 |
|
Direct Output Connection for a High-Rank Language Model 2018-08-30 |
코드 1 |
| Ensemble of All |
|
Advancing State of the Art in Language Modeling 2023-11-28 |
코드 1 |
| Mogrifier LSTM |
|
Mogrifier LSTM 2019-09-04 |
코드 1 · 코드 2 · 코드 3 |
| AWD-LSTM-DOC + Partial Shuffle |
|
Partially Shuffling the Training Data to Improve Language Models 2019-03-11 |
코드 1 |
| AWD-LSTM-DOC |
|
Direct Output Connection for a High-Rank Language Model 2018-08-30 |
코드 1 |
| AWD-LSTM-MoS + Partial Shuffle |
|
Partially Shuffling the Training Data to Improve Language Models 2019-03-11 |
코드 1 |
| AWD-LSTM-MoS |
|
Breaking the Softmax Bottleneck: A High-Rank RNN Language Model 2017-11-10 |
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 |
| AWD-FWM Schlag et al. (2020) |
|
Learning Associative Inference Using Fast Weight Memory 2020-11-16 |
코드 1 |
| AWD-LSTM-DRILL |
|
Deep Residual Output Layers for Neural Language Generation 2019-05-14 |
코드 1 |
| AWD-LSTM 3-layer with Fraternal dropout |
|
Fraternal Dropout 2017-10-31 |
코드 1 |
| AWD-LSTM + ATOI |
|
Alleviating Sequence Information Loss with Data Overlapping and Prime Batch Sizes 2019-09-18 |
코드 1 |