PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00049v1cs.SE

Prompting GPT-5 on Scrum Certification Questions: An Empirical Accuracy Study

GPT-5를 대상으로 993개의 PSM(Professional Scrum Master) 인증 시험 스타일 문제에 제로샷(zero-shot), 사고의 연쇄(Chain-of-Thought), 출처 인용 방식의 세 가지 프롬프트 기법을 적용한 결과, 모든 기법이 85% 이상의 정확도를 달성했으며 출처 인용 방식이 89.1%로 가장 우수한 성능을 보였다. 오류는 주로 Scrum Guide와의 불일치, 범위 외 콘텐츠, 구버전 해석에 집중되었으며, 구조화된 프롬프트가 이러한 오류를 줄이는 데 효과적임을 실증적으로 확인하였다.

arXiv:2607.00048v1cs.SE

Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns

GPT-5 mini, Gemini 3 Flash, DeepSeek Chat 3.2 세 대규모 언어 모델(LLM)을 PSM I 형식에 맞춘 993개의 Scrum 자격증 스타일 문항에 대해 제로샷(zero-shot), 사고의 연쇄(Chain-of-Thought), 소스 기반(source-grounded) 프롬프트 전략으로 평가한 결과, Gemini 3 Flash가 가장 높은 정확도를 기록했으며 모델 내 응답 변동성은 전반적으로 낮았다. Scrum Values, Self-Managing Teams 등 규범적으로 모호한 영역에서 성능이 저하되었고, 오류는 무작위가 아닌 과잉일반화·제한적 표현·시장 관행과 Scrum Guide 간 충돌 등 체계적인 패턴을 보였다.