← Language Modelling

Papers with Code · CC BY-SA 4.0

The Pile

아카이브 평가 39건 · 마지막 적재/변경 2026-10-30

원본 데이터셋 링크 1

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
Transformer 125M	Test perplexity 10.7	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
GPT-Neo 1.3B	Test perplexity 11.46	Knowledge Unlearning for Mitigating Privacy Risks in Language Models 2022-10-04	코드 1 · 코드 2
Smaller Transformer 126M (fine-tuned)	Test perplexity 12	Need a Small Specialized Language Model? Plan Early! 2024-02-02	연결 없음
OPT 2.7B	Test perplexity 17.81	Knowledge Unlearning for Mitigating Privacy Risks in Language Models 2022-10-04	코드 1 · 코드 2
GPT-Neo 125M	Test perplexity 17.83	Knowledge Unlearning for Mitigating Privacy Risks in Language Models 2022-10-04	코드 1 · 코드 2
OPT 1.3B	Test perplexity 19.55	Knowledge Unlearning for Mitigating Privacy Risks in Language Models 2022-10-04	코드 1 · 코드 2
Larger Transformer 771M (pre-trained)	Test perplexity 28.1	Need a Small Specialized Language Model? Plan Early! 2024-02-02	연결 없음
OPT 125M	Test perplexity 32.26	Knowledge Unlearning for Mitigating Privacy Risks in Language Models 2022-10-04	코드 1 · 코드 2
Smaller Transformer 126M (pre-trained)	Test perplexity 33	Need a Small Specialized Language Model? Plan Early! 2024-02-02	연결 없음