Papers with Code · CC BY-SA 4.0

One Billion Word

아카이브 평가 27건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
MDLM (AR baseline)	PPL 20.09 Number of params 110M	Simple and Effective Masked Diffusion Language Models 2024-06-11	코드 1 · 코드 2
OmniNetT (Large)	PPL 21.5 Number of params 100M	OmniNet: Omnidirectional Representations from Transformers 2021-03-01	코드 1
OmniNetP (Large)	PPL 21.6 Number of params 100M	OmniNet: Omnidirectional Representations from Transformers 2021-03-01	코드 1
Transformer-XL Large	PPL 21.8 Number of params 0.8B	Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37
OmniNetB (Large)	PPL 22	OmniNet: Omnidirectional Representations from Transformers 2021-03-01	코드 1
MDLM	PPL 23.00 Number of params 110M	Simple and Effective Masked Diffusion Language Models 2024-06-11	코드 1 · 코드 2
Adaptive Input Very Large	PPL 23.02 Number of params 1.0B Validation perplexity 22.92	Adaptive Input Representations for Neural Language Modeling 2018-09-28	코드 1 · 코드 2 · 코드 3
Transformer-XL Base	PPL 23.5 Number of params 0.46B	Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 2019-01-09	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37
SRU++ Large	PPL 23.5 Number of params 465M	When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute 2021-02-24	코드 1
10 LSTM+CNN inputs + SNM10-SKIP (ensemble)	PPL 23.7 Number of params 43B	Exploring the Limits of Language Modeling 2016-02-07	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10
Adaptive Input Large	PPL 23.91 Number of params 0.46B Validation perplexity 23.83	Adaptive Input Representations for Neural Language Modeling 2018-09-28	코드 1 · 코드 2 · 코드 3
Mesh Tensorflow	PPL 24.0 Number of params 4.9B	Mesh-TensorFlow: Deep Learning for Supercomputers 2018-11-05	코드 1
Cohere Large	PPL 25.06	연결 없음 논문 날짜 미기재	연결 없음
SRU++	PPL 25.1 Number of params 328M	When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute 2021-02-24	코드 1
DynamicConv	PPL 26.67 Number of params 0.34B	Pay Less Attention with Lightweight and Dynamic Convolutions 2019-01-29	코드 1 · 코드 2 · 코드 3
High-Budget MoE	PPL 28.0 Number of params 5B	Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer 2017-01-23	코드 1 · 코드 2 · 코드 3 · 코드 4
Evolved Transformer Big	PPL 28.6	The Evolved Transformer 2019-01-30	코드 1 · 코드 2 · 코드 3
LSTM-8192-1024 + CNN Input	PPL 30.0 Number of params 1.04B	Exploring the Limits of Language Modeling 2016-02-07	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10
LSTM-8192-1024	PPL 30.6 Number of params 1.8B	Exploring the Limits of Language Modeling 2016-02-07	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10
GCNN-14 bottleneck	PPL 31.9	Language Modeling with Gated Convolutional Networks 2016-12-23	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11
Low-Budget MoE	PPL 34.1 Number of params 5B	Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer 2017-01-23	코드 1 · 코드 2 · 코드 3 · 코드 4
BIG G-LSTM-2	PPL 36.0	Factorization tricks for LSTM networks 2017-03-31	코드 1 · 코드 2
GPT-2	PPL 42.16 Number of params 1.54B	Language Models are Unsupervised Multitask Learners 2019-02-14	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21
RNN-1024 + 9 Gram	PPL 51.3 Number of params 20B	One Billion Word Benchmark for Measuring Progress in Statistical Language Modeling 2013-12-11	코드 1 · 코드 2 · 코드 3
Sparse Non-Negative	PPL 52.9 Number of params 33B	Skip-gram Language Modeling Using Sparse Non-negative Matrix Probability Estimation 2014-12-03	연결 없음
H-Transformer-1D Nr=16 (Base)	Number of params 53M Validation perplexity 23.95	H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences 2021-07-25	코드 1 · 코드 2
H-Transformer-1D Nr=16 (Large)	Number of params 144M Validation perplexity 20.25	H-Transformer-1D: Fast One-Dimensional Hierarchical Attention for Sequences 2021-07-25	코드 1 · 코드 2