arXiv:2611.21632v1 cs.SE

파편화된 지표와 엇갈린 결과: AI 코딩 어시스턴트와 개발자 생산성에 관한 체계적 문헌 고찰

Fragmented Markers, Mixed Results: A Systematic Review of AI Coding Assistants and Developer Productivity

Annemarie Wittig, Alina Mailach, Norbert Siegmund

제출 2026-11-18

한국어 초록

AI 코딩 어시스턴트는 소프트웨어 공학 실무에 점점 더 깊이 자리 잡고 있지만, 문헌은 여전히 이들이 소프트웨어 개발자 생산성에 미치는 영향에 대해 누적적이고 쉽게 해석할 수 있는 그림을 제공하지 못하고 있다. 핵심 문제는 연구의 부족이 아니라 비교 가능성의 부족이다. 선행 연구들은 이질적인 지표, 환경, 보고 방식으로 생산성을 조작적으로 정의하여 연구 간 결론 도출을 어렵게 한다. 이를 해결하기 위해 우리는 단계적 체계적 문헌 고찰을 수행한다. 첫 번째 단계에서는 개발자 생산성을 명시적으로 검토한 연구를 종합한다. 두 번째 단계에서는 이론에 기반한 관점으로 SPACE를 사용하여 범위를 생산성 관련 개발자 성과로 확장하고, 명시적 생산성 연구가 흔히 누락하는 인간 중심의 증거를 포착한다. 두 단계 모두에서 생산성이 어떻게 조작적으로 정의되는지, 어떤 교란 요인이 논의되는지, 보고된 효과가 어떻게 분포하는지를 분석한다. 우리는 187개의 고유한 생산성 및 생산성 관련 지표를 확인하였으며, 개별 연구는 통상 다섯 개만 사용하여 증거 기반이 폭넓지만 매우 파편화되어 있음을 보여 준다. 명시적 생산성 연구는 시간, 산출물, 아티팩트 중심의 대리 지표가 지배적인 반면, 더 넓은 SPACE 정렬 코퍼스에서는 만족도, 심리적 측면, 웰빙이 훨씬 더 뚜렷하게 드러난다. 보고된 효과는 대체로 긍정적이지만, 이러한 경향은 객관적이거나 통계적으로 평가된 결과보다 지각 기반 및 경향 기반 결과에서 더 강하다. 종합하면, 문헌은 AI 코딩 어시스턴트가 생산성을 뒷받침할 수 있음을 시사하지만, 현재의 증거는 단순하고 맥락에 독립적인 결론을 아직 뒷받침하지 못한다. 따라서 본 고찰의 핵심 기여는 생산성 증거를 연구 간에 더 해석 가능하고, 다차원적이며, 비교 가능하게 만들기 위한 구조화된 토대를 제공하는 것이다.

원문 초록

AI coding assistants are increasingly embedded in software engineering practice, yet the literature still offers no cumulative, easily interpretable picture of their effects on software developer productivity. The central problem is not a lack of studies, but a lack of comparability: prior work operationalizes productivity through heterogeneous markers, settings, and reporting styles, making cross-study conclusions difficult. To address this, we conduct a staged systematic literature review. In the first stage, we synthesize studies that explicitly examine developer productivity. In the second, we extend the scope to productivity-related developer outcomes using SPACE as a theory-informed lens, capturing human-centered evidence that explicit productivity studies often omit. Across both stages, we analyze how productivity is operationalized, which confounding factors are discussed, and how reported effects are distributed. We identify 187 unique productivity and productivity-related markers, while individual studies typically only use five, revealing a broad but highly fragmented evidence base. Explicit productivity research is dominated by time-, output-, and artifact-oriented proxies, whereas the broader SPACE-aligned corpus makes satisfaction, psychological aspects, and well-being substantially more visible. Reported effects are often positive, but this pattern is stronger in perceived and tendency-based findings than in objective or statistically evaluated ones. Overall, the literature suggests that AI coding assistants can support productivity, but current evidence does not yet support simple, context-independent conclusions. The key contribution of this review is therefore a structured basis for making productivity evidence more interpretable, multidimensional, and comparable across studies.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21632v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.