← Code Generation

Papers with Code · CC BY-SA 4.0

RES-Q

아카이브 평가 9건 · 마지막 적재/변경 2026-10-30

원본 데이터셋 링크 1

평가 기록

과거 수집 기록이며 최신 순위가 아닙니다. 데이터셋 버전·split·실험 조건과 지표 방향이 검증되지 않은 결과는 직접 비교할 수 없습니다. 날짜는 논문 날짜이며 최신 평가일을 뜻하지 않습니다.

표가 화면보다 넓으면 좌우로 스크롤하여 논문과 구현 링크를 확인하세요.

원본 기록 순서 · 순위 미부여
모델	원본 지표·값	논문	구현
QurrentOS-coder + Claude 3.5 Sonnet	pass@1 58.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1
QurrentOS-coder + GPT-4o	pass@1 46.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1
QurrentOS-coder + GPT-4 Turbo	pass@1 37.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1
QurrentOS-coder + Claude 3 Opus	pass@1 36.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1
QurrentOS-coder + GPT-4	pass@1 30.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1
QurrentOS-coder + Gemini 1.5 Pro	pass@1 30.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1
QurrentOS-coder + DeepSeek-Coder-V2	pass@1 29.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1
QurrentOS-coder + Llama 3 70b	pass@1 20.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1
QurrentOS-coder + Qwen-72B-Instruct	pass@1 18.0	RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale 2024-06-24	코드 1