Papers with Code · CC BY-SA 4.0

WikiText-103

아카이브 평가 88건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
FNetAR Medium	Test perplexity 25.81 Number of params 144.4M	FNetAR: Mixing Tokens with Autoregressive Fourier Transforms 2021-07-22	코드 1
Reformer 125M	Test perplexity 26.0	Reformer: The Efficient Transformer 2020-01-13	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10
GPT-2 Medium	Test perplexity 26.37 Number of params 355M	Language Models are Unsupervised Multitask Learners 2019-02-14	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21
Performer 125M	Test perplexity 26.8	Rethinking Attention with Performers 2020-09-30	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7
AdvSoft (+ 4 layer QRNN + dynamic eval)	Validation perplexity 27.2 Test perplexity 28.0	Improving Neural Language Modeling via Adversarial Training 2019-06-10	코드 1
DEQ-TrellisNet	Test perplexity 29.0 Number of params 180M	Deep Equilibrium Models 2019-09-03	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
Trellis Network	Test perplexity 29.19	Trellis Networks for Sequence Modeling 2018-10-15	코드 1
LSTM (Hebbian, Cache, MbPA)	Validation perplexity 29.0 Test perplexity 29.2	Fast Parametric Learning with Activation Memorization 2018-03-27	연결 없음
LSTM (Hebbian, Cache)	Validation perplexity 29.9 Test perplexity 29.7	Fast Parametric Learning with Activation Memorization 2018-03-27	연결 없음
Rfa-Gate-Gaussian-Stateful (Small)	Validation perplexity 29.4 Test perplexity 30.5	Random Feature Attention 2021-03-03	연결 없음
Primal.+Trans.	Test perplexity 31.0	Primal-Attention: Self-attention through Asymmetric Kernel SVD in Primal Representation 2023-05-31	코드 1
LSTM (RMC)	Validation perplexity 30.8 Test perplexity 31.6	Relational recurrent neural networks 2018-06-05	코드 1 · 코드 2
DEQ-Transformer (small)	Test perplexity 32.4 Number of params 138M	Deep Equilibrium Models 2019-09-03	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
AWD-LSTM-MoS + ATOI	Validation perplexity 31.92 Test perplexity 32.85	Alleviating Sequence Information Loss with Data Overlapping and Prime Batch Sizes 2019-09-18	코드 1
4 layer QRNN	Validation perplexity 32.0 Test perplexity 33.0 Number of params 151M	An Analysis of Neural Language Modeling at Multiple Scales 2018-03-22	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12
LSTM (Hebbian)	Validation perplexity 34.1 Test perplexity 34.3	Fast Parametric Learning with Activation Memorization 2018-03-27	연결 없음
LSTM	Validation perplexity 36.0 Test perplexity 36.4	Fast Parametric Learning with Activation Memorization 2018-03-27	연결 없음
GCNN-8	Test perplexity 44.9	Language Modeling with Gated Convolutional Networks 2016-12-23	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
GPT-2 Small	Test perplexity 37.50 Number of params 124M	Language Models are Unsupervised Multitask Learners 2019-02-14	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21
Neural cache model (size = 2,000)	Test perplexity 40.8	Improving Neural Language Models with a Continuous Cache 2016-12-13	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14
Neural cache model (size = 100)	Test perplexity 44.8	Improving Neural Language Models with a Continuous Cache 2016-12-13	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14
TCN	Test perplexity 45.19	An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling 2018-03-04	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35
Temporal CNN	Validation perplexity - Test perplexity 45.2	Convolutional Sequence Modeling Revisited 2018-01-01	연결 없음
LSTM	Test perplexity 48.7	Improving Neural Language Models with a Continuous Cache 2016-12-13	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14
Transformer (Adaptive inputs)	Validation perplexity 19.5	On the adequacy of untuned warmup for adaptive optimization 2019-10-09	코드 1
LSTM	Validation perplexity 52.73	How much complexity does an RNN architecture need to learn syntax-sensitive dependencies? 2020-05-17	코드 1
GRU	Validation perplexity 53.78	How much complexity does an RNN architecture need to learn syntax-sensitive dependencies? 2020-05-17	코드 1
Decay RNN	Validation perplexity 76.67	How much complexity does an RNN architecture need to learn syntax-sensitive dependencies? 2020-05-17	코드 1