← Language Modelling

Papers with Code · CC BY-SA 4.0

WikiText-2

아카이브 평가 38건 · 마지막 적재/변경 2026-10-30

원본 데이터셋 링크 1

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
AWD-LSTM	Validation perplexity 68.6 Test perplexity 65.8 Number of params 33M	Regularizing and Optimizing LSTM Language Models 2017-08-07	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45
Melis et al. (2017) - 1-layer LSTM (tied)	Validation perplexity 69.3 Test perplexity 65.9 Number of params 24M	On the State of the Art of Evaluation in Neural Language Models 2017-07-18	코드 1
Grave et al. (2016) - LSTM + continuous cache pointer	Test perplexity 68.9	Improving Neural Language Models with a Continuous Cache 2016-12-13	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14
EGRU	Test perplexity 68.9	Efficient recurrent architectures through activity sparsity and sparse back-propagation through time 2022-06-13	코드 1
Inan et al. (2016) - Variational LSTM (tied) (h=650) + augmented loss	Validation perplexity 91.5 Test perplexity 87.0	Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling 2016-11-04	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5
Inan et al. (2016) - Variational LSTM (tied) (h=650)	Validation perplexity 92.3 Test perplexity 87.7	Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling 2016-11-04	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5
Grave et al. (2016) - LSTM	Test perplexity 99.3	Improving Neural Language Models with a Continuous Cache 2016-12-13	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14
OPT-175B (50% Sparsity)	Test perplexity 234.77	SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot 2023-01-02	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6