← Multi-task Language Understanding

Papers with Code · CC BY-SA 4.0

BBH-alg

아카이브 평가 7건 · 마지막 적재/변경 2026-10-30

원본 데이터셋 링크 1

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
code-davinci-002 175B (CoT)	Average (%) 73.9	Evaluating Large Language Models Trained on Code 2021-07-07	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13
Flan-PaLM 540B (3-shot, fine-tuned, CoT + SC)	Average (%) 66.5	Scaling Instruction-Finetuned Language Models 2022-10-20	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
PaLM 540B (CoT + self-consistency)	Average (%) 62.2	Scaling Instruction-Finetuned Language Models 2022-10-20	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
Flan-PaLM 540B (3-shot, fine-tuned, CoT)	Average (%) 61.3	Scaling Instruction-Finetuned Language Models 2022-10-20	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
PaLM 540B (CoT)	Average (%) 57.6	Scaling Instruction-Finetuned Language Models 2022-10-20	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
Flan-PaLM 540B (3-shot, fine-tuned)	Average (%) 48.2	Scaling Instruction-Finetuned Language Models 2022-10-20	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
PaLM 540B	Average (%) 38.3	Scaling Instruction-Finetuned Language Models 2022-10-20	코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9