Papers with Code · CC BY-SA 4.0

The Pile

아카이브 평가 39건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
Test-Time Fine-Tuning with SIFT + Llama-3.2 (3B)	Bits per byte 0.557	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Test-Time Fine-Tuning with SIFT + Phi-3 (3.8B)	Bits per byte 0.595	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Test-Time Fine-Tuning with SIFT + Llama-3.2 (1B)	Bits per byte 0.606	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Gemma-2 27B	Bits per byte 0.629	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
GLM-130B	Bits per byte 0.634	GLM-130B: An Open Bilingual Pre-trained Model 2022-10-05	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
Llama-3.2 3B	Bits per byte 0.640	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Jurassic-1	Bits per byte 0.65	GLM-130B: An Open Bilingual Pre-trained Model 2022-10-05	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
Phi-3 14B	Bits per byte 0.651	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Gemma-2 9B	Bits per byte 0.670	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Phi-3 7B	Bits per byte 0.678	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Phi-3 3.8B	Bits per byte 0.679	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Llama-3.2 1B	Bits per byte 0.697	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
GPT-3 Davinci 175B (pre-trained)	Bits per byte 0.7177	The Pile: An 800GB Dataset of Diverse Text for Language Modeling 2020-12-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22
Gemma-2 2B	Bits per byte 0.721	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
Llama-3.2-Instruct 3B	Bits per byte 0.737	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
GPT-3	Bits per byte 0.742	GLM-130B: An Open Bilingual Pre-trained Model 2022-10-05	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
Test-Time Fine-Tuning with SIFT + GPT-2 (774M)	Bits per byte 0.762	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
GPT-3 Curie 6.7B (pre-trained)	Bits per byte 0.7980	The Pile: An 800GB Dataset of Diverse Text for Language Modeling 2020-12-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22
Llama-3.2-Instruct 1B	Bits per byte 0.807	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
GPT-2 Large 774M (test-time training on nearest neighbors)	Bits per byte 0.85	Test-Time Training on Nearest Neighbors for Large Language Models 2023-05-29	코드 1
Test-Time Fine-Tuning with SIFT + GPT-2 (124M)	Bits per byte 0.862	Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs 2024-10-10	코드 1
GPT-3 Babbage 1.3B (pre-trained)	Bits per byte 0.8718	The Pile: An 800GB Dataset of Diverse Text for Language Modeling 2020-12-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22
GPT-3 Ada 350M (pre-trained)	Bits per byte 0.9631	The Pile: An 800GB Dataset of Diverse Text for Language Modeling 2020-12-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22
GPT-2 XL 1.5B (pre-trained)	Bits per byte 1.0468	The Pile: An 800GB Dataset of Diverse Text for Language Modeling 2020-12-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22
GPT-2 Large 774M (pre-trained)	Bits per byte 1.0828	The Pile: An 800GB Dataset of Diverse Text for Language Modeling 2020-12-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22
GPT-2 Medium 355M (pre-trained)	Bits per byte 1.0928	The Pile: An 800GB Dataset of Diverse Text for Language Modeling 2020-12-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22
GPT-2 Small 124M (pre-trained)	Bits per byte 1.2253	The Pile: An 800GB Dataset of Diverse Text for Language Modeling 2020-12-31	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22
Larger Transformer 771M (fine-tuned)	Test perplexity 10	Need a Small Specialized Language Model? Plan Early! 2024-02-02	연결 없음
Hybrid H3 125M	Test perplexity 10.2	Hungry Hungry Hippos: Towards Language Modeling with State Space Models 2022-12-28	코드 1 · 코드 2 · 코드 3
GPT-Neo 2.7B	Test perplexity 10.44	Knowledge Unlearning for Mitigating Privacy Risks in Language Models 2022-10-04	코드 1 · 코드 2