PK PyTorchKR Papers
Papers with Code · CC BY-SA 4.0

Code Generation

297 평가 기록 38 datasets

Code Generation is an important field to predict explicit code or program structure from multimodal data sources such as incomplete code, programs in another programming language, natural language descriptions or execution examples. Code Generation tools can assist the development of automatic programming tools to improve programming productivity.

<span class="description-source">Source: Deep Learning for Source Code Modeling and Generation </span>

Image source: Measuring Coding Challenge Competence With APPS

개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.

벤치마크

Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.

Dataset기록된 모델 예시MetricPaperCode
EG-CFG (DeepSeek-V3-0324)
Accuracy: 96.6
논문 코드
LPW (GPT-4o)
Introductory Pass@1: 87.2Interview Pass@1: 65.2Competition Pass@1: 34.8Pass@1: 62.6
논문 코드
PanGu-Coder-FT-I
BLEU: 44.32
논문 -
MarianCG
Accuracy: 81.83BLEU Score: 90.41
논문 코드
NL2SQL-RULE
Execution Accuracy: 89.2Exact Match Accuracy: 83.7
논문 코드
QurrentOS-coder + Claude 3.5 Sonnet
pass@1: 58.0
논문 코드
EG-CFG (DeepSeek-V3-0324)
Test Set pass@1: 58.18
논문 코드
CodeTrans-MT-Large
Smoothed BLEU-4: 21.87
논문 코드
Transformer
Smoothed BLEU-4: 25.61
논문 코드
CodeTrans-MT-Base
Smoothed BLEU-4: 26.23
논문 코드
DeepSeek-R1 (MGDebugger)
Pass@1: 100
논문 코드
Claude 3 Haiku
Pass@3: 27.67
논문 코드

데이터셋

38개
MBPPAPPSCoNaLaDjangoWikiSQLRES-QCodeContestsCodeSearchNet - JavaCodeSearchNet - JavaScriptCodeSearchNet - PhpHumanEvalPECC

논문

라이브러리

Papers with Code 리더보드 row에 연결된 구현 저장소입니다.

github.com/shahinhonarvar/turbulence-benchmark 1 논문
github.com/gabeorlanski/stackoverflow-encourages-cheating 1 논문
github.com/neulab/external-knowledge-codegen 1 논문
github.com/zorazrw/multilingual-conala 1 논문
github.com/boazlavon/eg_cfg 1 논문
github.com/you68681/lpw 1 논문

하위 태스크

CD Code Documentation Generation 7 데이터셋 · 52 rows CT Code Translation 2 데이터셋 · 4 rows CC Class-level Code Generation 1 데이터셋 · 0 rows GI GitHub issue resolution 0 데이터셋 · 0 rows LC Library-Oriented Code Generation 0 데이터셋 · 0 rows