Papers with Code · CC BY-SA 4.0
Logical Reasoning
84 평가 기록
21 datasets
개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.
벤치마크
Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.
Dataset기록된 모델 예시MetricPaperCode
Claude Opus
Exact Match Accuracy: 46.3%Delta_NoContext: 28.8%
논문
코드
PaLM 2 (few-shot, k=3, Direct)
Accuracy: 64.8
논문
코드
PaLM 2 (few-shot, k=3, CoT)
Accuracy: 84.9
논문
코드
PaLM 2 (few-shot, k=3, CoT)
Accuracy: 91.2
논문
코드
PaLM 2 (few-shot, k=3, CoT)
Accuracy: 100
논문
코드
Chinchilla-70B (few-shot, k=5)
Accuracy: 44
논문
코드
PaLM-540B (few-shot, k=5)
Accuracy: 73.9
논문
코드
Human benchmark
Accuracy : 83.7
논문
코드
Human benchmark
Accuracy: 87.0
논문
코드
Chinchilla-70B (few-shot, k=5)
Accuracy: 79
논문
코드
Chinchilla-70B (few-shot, k=5)
Accuracy: 60.6
논문
코드
Chinchilla-70B (few-shot, k=5)
Accuracy: 93.1
논문
코드
논문
2303.17564
2023-03-30
이 페이지의 평가 5건
Accuracy: 44.5
2305.10403
2023-05-17
이 페이지의 평가 4건
Accuracy: 84.9
2203.15556
2022-03-29
이 페이지의 평가 2건
Accuracy: 48.7
2112.11446
2021-12-08
이 페이지의 평가 1건
Accuracy: 40.6
라이브러리
Papers with Code 리더보드 row에 연결된 구현 저장소입니다.