PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Mathematical Question Answering

Question Answering › Mathematical Question Answering 255 평가 기록 15 datasets

Building systems that automatically answer mathematical questions.

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
Gemini 2.0 Flash Experimental
Accuracy: 89.7
- -
GPT-4 (Teaching-Inspired)
Execution Accuracy: 93.9
논문 코드
OpenMath-CodeLlama-70B (w/ code)
Accuracy (%): 95.7
논문 코드
GPT-4 (Teaching-Inspired)
Accuracy (5-fold): 94.3
논문 코드
MixedSP
Accuracy (%): 83
논문 -
ATHENA (roberta-large)
Execution Accuracy: 91
논문 코드
Human Expert
Accuracy (%): 90.9
논문 코드
DeBERTa (VM)
Accuracy (%): 79.1
논문 코드
EPT
Accuracy (%): 63.5
논문 코드
ELASTIC (RoBERTa-large)
Answer Accuracy: 83.00
논문 코드
Inter-GPS
Accuracy (%): 67
논문 코드
ATHENA (roberta-large)
Execution Accuracy: 67.8
논문 코드

데이터셋

15개
MATHSVAMPMAWPSMath23KALG514ASDiv-AGeometry3KParaMAWPSDRAW-1KMathQAGeoSSVAMP (1:N)

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/lupantech/InterGPS 1 논문
github.com/mingliangzhang2018/PGDP 1 논문
github.com/neurasearch/geometry-diagram-description 1 논문
github.com/snucclab/ept-x 1 논문
github.com/starscream-11813/variational-mathematical-reasoning 1 논문
github.com/uwnlp/geosolver 1 논문

하위 태스크

MW Math Word Problem Solving 13 데이터셋 · 245 rows