Papers with Code · CC BY-SA 4.0

WikiText-103

아카이브 평가 88건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
Shortformer	Validation perplexity 17.47 Test perplexity 18.15 Number of params 247M	Shortformer: Better Language Modeling using Shorter Inputs 2020-12-31	코드 1
Feedback Transformer (8 layers)	Validation perplexity 17.5 Test perplexity 18.2 Number of params 139M	Addressing Some Limitations of Transformers with Feedback Memory 2020-02-21	코드 1 · 코드 2 · 코드 3 · 코드 4
SRU++ Base	Validation perplexity 17.5 Test perplexity 18.3 Number of params 148M	When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute 2021-02-24	코드 1
Transformer-XL Large	Validation perplexity 18.2 Test perplexity 18.3 Number of params 257M	Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37
PAR Transformer Large	Test perplexity 18.4	Pay Attention when Required 2020-09-09	코드 1 · 코드 2
Perceiver AR 358M	Test perplexity 18.4	General-purpose, long-context autoregressive modeling with Perceiver AR 2022-02-15	코드 1 · 코드 2 · 코드 3
Hyena-3-slim	Test perplexity 18.5	Hyena Hierarchy: Towards Larger Convolutional Language Models 2023-02-21	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7
Hybrid H3 125M	Test perplexity 18.5	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
Hyena-3	Test perplexity 18.6	Hyena Hierarchy: Towards Larger Convolutional Language Models 2023-02-21	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7
Transformer (Adaptive inputs)	Validation perplexity 17.97 Test perplexity 18.70 Number of params 247M	Adaptive Input Representations for Neural Language Modeling 2018-09-28	코드 1 · 코드 2 · 코드 3
T2R + Pretrain	Validation perplexity 19 Test perplexity 19.6	Finetuning Pretrained Transformers into RNNs 2021-03-24	코드 1 · 코드 2
Subformer	Test perplexity 20.39 Number of params 96M	Subformer: A Parameter Reduced Transformer 2021-01-01	연결 없음
BERT-Large-CAS	Validation perplexity 19.6 Test perplexity 20.4 Number of params 395M	Language Models with Transformers 2019-04-20	코드 1
All-attention network (36 layers)	Validation perplexity 19.7 Test perplexity 20.6 Number of params 133M	Augmenting Self-attention with Persistent Memory 2019-07-02	코드 1 · 코드 2
S4	Test perplexity 21.28 Number of params 249M	Efficiently Modeling Long Sequences with Structured State Spaces 2021-10-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8
GPT-2 Large	Test perplexity 22.05 Number of params 774M	Language Models are Unsupervised Multitask Learners 2019-02-14	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21
Feedback Transformer (4 layers)	Validation perplexity 21.4 Test perplexity 22.4 Number of params 44M	Addressing Some Limitations of Transformers with Feedback Memory 2020-02-21	코드 1 · 코드 2 · 코드 3 · 코드 4
PAR Transformer Base	Test perplexity 22.7	Pay Attention when Required 2020-09-09	코드 1 · 코드 2
Skip Cross-Head Transformer-XL	Validation perplexity 21.87 Test perplexity 22.91 Number of params 122M	Memory-efficient Stochastic methods for Memory-based Transformers 2023-11-14	코드 1
DEQ-Transformer (medium, adaptive embed)	Test perplexity 23.2 Number of params 110M	Deep Equilibrium Models 2019-09-03	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
TaLK Convolutions	Test perplexity 23.3 Number of params 240M	Time-aware Large Kernel Convolutions 2020-02-08	코드 1
Rfa-Gate-Gaussian-Stateful (Big)	Validation perplexity 22 Test perplexity 23.5	Random Feature Attention 2021-03-03	연결 없음
Hybrid H3 (125M)	Test perplexity 23.7 Number of params 125M	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
Transformer-XL Standard	Validation perplexity 23.1 Test perplexity 24.0 Number of params 151M	Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37
DeLighT	Test perplexity 24.14 Number of params 99M	DeLighT: Deep and Light-weight Transformer 2020-08-03	코드 1 · 코드 2
[?]-former (Sticky memories)	Test perplexity 24.22	$\infty$-former: Infinite Memory Transformer 2021-09-01	코드 1
\infty-former (Sticky memories)	Test perplexity 24.22	$\infty$-former: Infinite Memory Transformer 2021-09-01	코드 1
∞-former (Sticky memories)	Test perplexity 24.22	$\infty$-former: Infinite Memory Transformer 2021-09-01	코드 1
Transformer-N	Validation perplexity 24.1 Test perplexity 25.2 Number of params 148M	Revisiting Simple Neural Probabilistic Language Models 2021-04-08	코드 1
Linear Attention 125M	Test perplexity 25.6	Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention 2020-06-29	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8