화면을 공유하고 Gemini와 대화하기: 어린 학습자는 스크래치 과제를 풀며 멀티모달 생성형 AI와 어떻게 상호작용하는가
Share your Screen and Talk to Gemini: How Young Learners Interact with Multimodal GenAI While Solving Scratch Tasks
한국어 초록
스크래치로 프로그래밍을 배우는 어린이는 디버깅 중 글이 많고 긴 설명이나 힌트를 이해하기 어려울 수 있다. 화면 공유나 카메라 데이터를 바탕으로 음성으로 상호작용하는 방식은 학습자를 지원하는 다른 방법이 될 수 있다. 이에 본 연구는 초등학교 5·6학년 학생이 생성형 AI 튜터와 음성으로 상호작용할 때의 응답 품질, 이용 방식, 학생의 인식을 살폈다. 이 학습 환경에서 멀티모달 생성형 AI 튜터의 품질과 사용 양상을 조사하는 것이 목표였다. 먼저 학생 없이 과제 8개를 진행한 예비 연구를 바탕으로 교실 평가 절차를 설계했다. 5·6학년 학생이 스크래치 수업을 6회 들은 뒤 교실 연구를 진행했다. 학생 23명에게 튜터 사용법을 소개했고, 학생들은 생성형 AI 튜터와 함께 과제 8개를 풀고 설문에 답했다. 예비 연구와 교실 연구에서 튜터의 응답은 이해하기 쉽고 실행 가능한 도움을 주었으며, 한 번의 응답으로 전체 해법을 알려 준 사례는 없었다. 그러나 교실 연구에서 오류 관련 대화 차례 603개 중 61.5%에서 튜터가 실제 오류를 놓쳤다. 예비 연구에서는 그 비율이 15.7%였다. 학생의 음성 프롬프트는 짧았고 대부분 튜터에게 답하는 내용이었다. 응답이 틀릴 수 있다는 안내 영상을 보여 주었지만, 학생의 39.1%는 튜터의 답이 항상 맞다고 믿었다. 멀티모달 생성형 AI 튜터를 사용하는 교육자와 학습자는 이해하기 쉽고 사람처럼 들리는 음성이 정확한 도움을 보장하지 않는다는 점에 유의해야 한다. 개발자에게는 화면 공유만으로 프로그램의 실제 상태에 맞는 응답을 보장하기 어렵다는 점을 시사한다.
원문 초록
Children using Scratch to learn programming can struggle with text-heavy, lengthy explanations and hints during debugging. Verbal interactions based on screen sharing or camera data may be an interesting alternative for supporting learners. We therefore explore the quality, use, and perceptions of fifth- and sixth-graders' verbal interactions with a GenAI tutor. The goal is to investigate the quality and use of the multimodal GenAI tutor in the given context. First of all, a pilot study of eight tasks conducted without students helped inform the process of the tutor's classroom evaluation. The classroom study was realized after fifth- and sixth-graders had participated in six Scratch classroom lessons. Then 23 students were introduced to the tutor, worked on the eight tasks with the GenAI tutor, and completed a questionnaire. The analysis of the pilot and classroom study shows that the tutor's responses were intelligible and actionable, and no single turn revealed a complete solution. However, the tutor missed existing errors in 61.5% of 603 error-related classroom turns, compared to 15.7% in the pilot study. Children's voice prompts were brief and mostly responded to the tutor. Although a video had explained that responses could be incorrect, 39.1% of the children trusted the tutor's answers to always be correct. These findings have implications for educators and learners using multimodal GenAI tutors, as they need to be aware that an intelligible and human-like voice does not ensure correct support. For developers, our results suggest that screen sharing alone does not ensure responses that match the program state.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
accepted for: The 21th WiPSCE Conference on Primary and Secondary Computing Education Research (WiPSCE 27)