virtus.ufcg.edu.br

이 이메일 도메인이 관측된 논문 1건

arXiv:2607.00048v1cs.SE

Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns

GPT-5 mini, Gemini 3 Flash, DeepSeek Chat 3.2 세 대규모 언어 모델(LLM)을 PSM I 형식에 맞춘 993개의 Scrum 자격증 스타일 문항에 대해 제로샷(zero-shot), 사고의 연쇄(Chain-of-Thought), 소스 기반(source-grounded) 프롬프트 전략으로 평가한 결과, Gemini 3 Flash가 가장 높은 정확도를 기록했으며 모델 내 응답 변동성은 전반적으로 낮았다. Scrum Values, Self-Managing Teams 등 규범적으로 모호한 영역에서 성능이 저하되었고, 오류는 무작위가 아닌 과잉일반화·제한적 표현·시장 관행과 Scrum Guide 간 충돌 등 체계적인 패턴을 보였다.