PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28470v1cs.AI

StudentBench: AI와 인간 튜터링이 가져오는 동등한 GRE 학습 효과

StudentBench: AI and human tutoring yield equivalent GRE learning gains

인공지능은 인간의 역량을 강화할 수 있는 전례 없는 기회를 제공하지만, 최전선의 발전은 주로 모델 역량을 향상하는 데 집중되어 왔습니다. 본 연구에서는 대규모 언어 모델(LLM)이 인간 튜터링과 동등한 학습 효과를 내는지 연구하기 위해, 175,000건 이상의 학생-AI 메시지를 포함하는 대규모 데이터 수집이 가능한 공개 플랫폼이자 AI 교수법 평가 묶음인 StudentBench를 소개합니다. StudentBench를 사용하여 AI 튜터링, 인간 튜터링, 또는 튜터링을 받지 않은 2,383명의 인간 참가자를 대상으로 GRE 양적 추론(Quantitative) 및 언어 추론(Verbal) 문제에 대한 학습 효과를 측정했습니다. 그 결과, GRE 학습 효과 면에서 AI 튜터링이 전문 인간 튜터링과 통계적으로 동등함을 확인했으며(p = .015), 7개 GRE 영역 중 5개 영역에서 최고 성능의 AI 튜터가 평균적으로 인간 튜터를 능가했습니다. 두 번째 연구에서는 인간 전문 튜터가 2,028회의 쌍별 루브릭 평가를 통해 LLM이 생성한 수업 계획과 연습 문제를 비교했습니다. 두 연구를 종합하여 AI 튜터를 (1) 수업 계획 수립, (2) 연습 문제 제작, (3) 대화형 교수법, (4) 비용, (5) 참여도의 측면에서 명확히 구분했습니다. 놀랍게도, 한 AI 튜터는 인간 튜터링과 동등한 학습 효과를 달성하면서도(p = .044), 비용은 918배 낮았습니다(상승한 백분율 포인트당 인간은 4.81달러인 데 비해 AI는 0.0052달러). GRE 양적 추론 세션의 경우, AI의 빠른 응답은 더 많은 학생 메시지와 상관관계가 있었고, 더 많은 메시지는 더 많은 정답 연습으로, 더 많은 정답 연습은 더 큰 학습 효과로 이어졌습니다(모두 p < .002). StudentBench 플랫폼은 https://studentbench.org 에서 무료로 이용할 수 있습니다.