← Multi-task Language Understanding
Papers with Code · CC BY-SA 4.0

BBH-nlp

아카이브 평가 15건 · 마지막 적재/변경

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델원본 지표·값논문구현
Qwen2.5-72B
Average (%)
86.3
연결 없음
논문 날짜 미기재
연결 없음
Jiutian-大模型
Average (%)
86.1
연결 없음
논문 날짜 미기재
연결 없음
LLama-3-405B
Average (%)
85.9
연결 없음
논문 날짜 미기재
연결 없음
Jiutian-57B
Average (%)
84.07
연결 없음
논문 날짜 미기재
연결 없음
Qwen2-72B
Average (%)
82.4
연결 없음
논문 날짜 미기재
연결 없음
LLama-3-70B
Average (%)
81.0
연결 없음
논문 날짜 미기재
연결 없음
Flan-PaLM 540B (3-shot, fine-tuned, CoT + SC)
Average (%)
78.4
Scaling Instruction-Finetuned Language Models
2022-10-20
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
PaLM 540B (CoT + self-consistency)
Average (%)
78.2
Scaling Instruction-Finetuned Language Models
2022-10-20
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
code-davinci-002 175B (CoT)
Average (%)
73.5
Evaluating Large Language Models Trained on Code
2021-07-07
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9 · 코드 10 · 코드 11 · 코드 12 · 코드 13
Flan-PaLM 540B (3-shot, fine-tuned, CoT)
Average (%)
72.4
Scaling Instruction-Finetuned Language Models
2022-10-20
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
PaLM 540B (CoT)
Average (%)
71.2
Scaling Instruction-Finetuned Language Models
2022-10-20
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
Flan-PaLM 540B (5-shot, finetuned)
Average (%)
70.0
Scaling Instruction-Finetuned Language Models
2022-10-20
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
PaLM 540B
Average (%)
62.7
Scaling Instruction-Finetuned Language Models
2022-10-20
코드 1 · 코드 2 · 코드 3 · 코드 4 · 코드 5 · 코드 6 · 코드 7 · 코드 8 · 코드 9
Orca 2-13B
Average (%)
50.18
Orca 2: Teaching Small Language Models How to Reason
2023-11-18
연결 없음
Orca 2-7B
Average (%)
45.93
Orca 2: Teaching Small Language Models How to Reason
2023-11-18
연결 없음