EM (line-level): 37.90Edit Sim (line-level): 72.25
Papers with Code · CC BY-SA 4.0
Code Completion
개요는 각 항목의 일부입니다. 위 탭에서 전체 기록을 페이지별로 탐색할 수 있습니다.
벤치마크
Papers with Code 아카이브의 데이터셋별 기록 예시입니다. 평가 조건과 지표 방향이 검증되지 않아 순위를 의미하지 않습니다.
Dataset기록된 모델 예시MetricPaperCode
Code Llama 7B, fine-tuned with document splitting
Correctness, max., %: 42Correctness, avg., %: 34Validness, avg., %: 69.1Validness, max., %: 76
논문
코드
CodeGPT-adapted
Accuracy (token-level): 77.13EM (line-level): 26.43Edit Sim (line-level): 63.03
논문
코드
데이터셋
7개논문
Accuracy (token-level): 77.13EM (line-level): 26.43Edit Sim (line-level): 63.03
Compilation Rate: 76.47Pass@1: 63.73BLEU: 66.29
Compilation Rate: 74.02Pass@1: 59.8BLEU: 63.52
Compilation Rate: 73.03
라이브러리
Papers with Code 리더보드 row에 연결된 구현 저장소입니다.