Papers with Code · CC BY-SA 4.0

MBPP

아카이브 평가 99건 · 마지막 적재/변경 2026-10-30

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
Code Llama - Instruct 13B (3-shot)	Accuracy 49.4	Code Llama: Open Foundation Models for Code 2023-08-24	코드 1 · 코드 2
DeepSeek-Coder-Instruct 1.3B (few-shot)	Accuracy 49.4	DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence 2024-01-25	코드 1
StarCoderBase 15.5B	Accuracy 49	StarCoder: may the source be with you! 2023-05-09	코드 1 · 코드 2 · 코드 3 · 코드 4
Code Llama - Python 13B (3-shot)	Accuracy 49	Code Llama: Open Foundation Models for Code 2023-08-24	코드 1 · 코드 2
Qwen2idae-16x14B (4-shot)	Accuracy 48.6	Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks 2024-01-05	코드 1 · 코드 2
code-cushman-001 12B + MBR-Exec	Accuracy 48.3	Coder Reviewer Reranking for Code Generation 2022-11-29	코드 1
Code Llama - Python 7B (3-shot)	Accuracy 47.6	Code Llama: Open Foundation Models for Code 2023-08-24	코드 1 · 코드 2
Mistral 7B (3-shot)	Accuracy 47.5	Mistral 7B 2023-10-10	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6
CodeGen 16B + MBR-Exec	Accuracy 47.3	Coder Reviewer Reranking for Code Generation 2022-11-29	코드 1
StarCoder 15.5B (3-shot)	Accuracy 47.2	Teaching Large Language Models to Self-Debug 2023-04-11	코드 1 · 코드 2
PaLM Coder 540B	Accuracy 47	PaLM: Scaling Language Modeling with Pathways 2022-04-05	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7
Code Llama 13B (3-shot)	Accuracy 47	Code Llama: Open Foundation Models for Code 2023-08-24	코드 1 · 코드 2
CodeGen 16B + Coder-Reviewer	Accuracy 46.2	Coder Reviewer Reranking for Code Generation 2022-11-29	코드 1
DeepSeek-Coder-Base 1.3B (few-shot)	Accuracy 46.2	DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence 2024-01-25	코드 1
GPT-3.5 Turbo (few-shot)	Accuracy 45.4	INTERVENOR: Prompting the Coding Ability of Large Language Models with the Interactive Chain of Repair 2023-11-16	코드 1
Llama 2 70B (zero-shot)	Accuracy 45	Llama 2: Open Foundation and Fine-Tuned Chat Models 2023-07-18	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19
Code Llama - Instruct 7B (3-shot)	Accuracy 44.4	Code Llama: Open Foundation Models for Code 2023-08-24	코드 1 · 코드 2
CodeGen 16B + Reviewer	Accuracy 44.1	Coder Reviewer Reranking for Code Generation 2022-11-29	코드 1
phi-1.5-web 1.3B	Accuracy 43.5	Textbooks Are All You Need II: phi-1.5 technical report 2023-09-11	코드 1
Branch-Train-Merge 4x7B (top-2)	Accuracy 42.6	Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM 2024-03-12	코드 1
Code Llama 7B (3-shot)	Accuracy 41.4	Code Llama: Open Foundation Models for Code 2023-08-24	코드 1 · 코드 2
Camelidae-8×34B (4-shot)	Accuracy 41.4	Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks 2024-01-05	코드 1 · 코드 2
GPT-3.5 Turbo (0-shot)	Accuracy 39.8	INTERVENOR: Prompting the Coding Ability of Large Language Models with the Interactive Chain of Repair 2023-11-16	코드 1
Branch-Train-MiX 4x7B (sampling top-2 experts)	Accuracy 39.4	Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM 2024-03-12	코드 1
LLaMA 65B (0-shot)	Accuracy 37.7	LLaMA: Open and Efficient Foundation Language Models 2023-02-27	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19 · 코드 20 · 코드 21 · 코드 22 · 코드 23 · 코드 24 · 코드 25 · 코드 26 · 코드 27 · 코드 28 · 코드 29 · 코드 30 · 코드 31 · 코드 32 · 코드 33 · 코드 34 · 코드 35 · 코드 36 · 코드 37 · 코드 38 · 코드 39 · 코드 40 · 코드 41 · 코드 42 · 코드 43 · 코드 44 · 코드 45 · 코드 46 · 코드 47 · 코드 48 · 코드 49 · 코드 50 · 코드 51 · 코드 52 · 코드 53 · 코드 54 · 코드 55 · 코드 56 · 코드 57
PaLM 540B	Accuracy 36.8	PaLM: Scaling Language Modeling with Pathways 2022-04-05	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7
SantaCoder 1.1B	Accuracy 35	StarCoder: may the source be with you! 2023-05-09	코드 1 · 코드 2 · 코드 3 · 코드 4
InCoder 6.7B + CodeT	Accuracy 34.4	CodeT: Code Generation with Generated Tests 2022-07-21	코드 1
Llama 2 34B (0-shot)	Accuracy 33	Llama 2: Open Foundation and Fine-Tuned Chat Models 2023-07-18	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19
Llama 2 13B (0-shot)	Accuracy 30.6	Llama 2: Open Foundation and Fine-Tuned Chat Models 2023-07-18	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13 · 코드 14 · 코드 15 · 코드 16 · 코드 17 · 코드 18 · 코드 19