생성형 AI 활용의 정교함: 대기업 현장 데이터에서 얻은 증거
Sophistication in GenAI Use: Field Evidence from a Large Firm
한국어 초록
우리는 대기업의 백오피스 인력 사이에서 생성형 AI(genAI) 활용의 정교함이 어떻게 달라지는지를 연구한다. 독점 데이터를 활용하여, 2025년 8개월 동안 15개 기능 부서에 걸친 약 4,000명의 백오피스 직원이 작성한 713,564개의 프롬프트와 그에 대응하는 대규모 언어 모델의 응답을 관찰한다. 우리는 세 가지 주요 발견을 제시한다. 첫째, 고위 직원일수록 더 정교하게 genAI를 활용하며, 이는 도메인 전문성이 genAI의 역량을 보완한다는 점과 부합한다. 둘째, 정교함은 부서별로 상당히 다르며, 전략, 디지털 혁신, 프로젝트 관리 부서에서 가장 높게 나타난다. 이 세 그룹은 전사적 전략 과제와 조직 변화에 초점을 둔다는 공통점이 있다. 셋째, 시간이 지남에 따라 정교함이 향상되는 모습도, 공식 AI 교육 이후 지속적인 향상도 관찰되지 않았으며, 이는 정교한 활용 방식을 바꾸기가 어려울 수 있음을 시사한다. 종합하면, 본 연구는 관리자가 성과를 개선하는 데 활용할 수 있고 연구자가 향후 연구에서 활용할 수 있는, 정교한 genAI 활용에 대한 측정 방법과 통찰을 제공한다.
원문 초록
We study how sophistication in generative AI (genAI) use varies among the back-office workforce of a large firm. Using proprietary data, we observe 713,564 employee prompts and their corresponding large language model responses from nearly 4,000 back-office employees across 15 functional areas over eight months in 2025. We document three main findings. First, senior employees exhibit more sophisticated genAI use, consistent with domain expertise complementing genAI capabilities. Second, sophistication varies considerably across functions and is highest in Strategy, Digital Innovation, and Project Management, three groups that share a focus on firmwide strategic initiatives and organizational change. Third, we observe neither improvements in sophistication over time nor lasting improvements following formal AI training, suggesting that sophisticated use can be difficult to change. Together, our study provides measures of and insights into sophisticated genAI use that managers can use to improve outcomes and that researchers can use in future research.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.27364v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.