EduGage: 자기주도형 비디오 학습 환경에서 센서 기반 순간 몰입도 평가를 위한 멀티모달 데이터셋 및 벤치마크
EduGage: A Multimodal Dataset and Benchmark for Sensor-Based Momentary Assessment of Engagement in Self-Guided Video Learning
주의 집중, 정서적, 인지적 차원과 연결되는 몰입도(engagement)는 학습에서 중요한 역할을 합니다. 온라인 및 비디오 기반 학습 환경에서 학습자는 교수 자료와의 상호작용을 스스로 조절해야 하는 경우가 많습니다. 따라서 몰입도를 측정하고 성찰하는 것은 학습자와 적응형 학습 시스템 모두를 지원할 수 있습니다. 본 연구에서는 웨어러블 및 카메라 기반 감지 장치를 사용하여 PPG, ECG, EDA, EEG, IMU, 심박수, 체온, 시선 추적 데이터를 포함한 생체 및 모션 신호를 수집하여 학습자의 몰입도를 추정합니다. 비디오 기반 학습 시나리오에서 16명의 참가자를 대상으로 사용자 연구를 수행하였으며, 참가자들은 학습 과제를 완료하고 직전 1분 동안 주의를 집중하기 얼마나 어려웠는지를 보고하는 1-5점 척도의 현장 몰입도 프로브(engagement-probe) 평가를 반복적으로 제공했습니다. 본 연구는 몰입도 추정을 위한 벤치마크를 구축하고, 다양한 감지 모달리티를 비교하며, 학습자 몰입도를 특성화하기 위한 멀티모달 모델링의 타당성과 효과성을 심층 분석합니다. 참가자 기반 교차 검증에서 모달리티 인식 참조 모델은 0.80의 MAE, 83.18%의 오차 1 이내(within-1) 정확도, 70.96%의 이진 정확도, 62.90%의 이진 Macro-F1을 달성하여 센서 미사용, 통계, 딥 시계열, 파운데이션 모델, 대규모 언어 모델(LLM) 기반 베이스라인보다 우수한 성능을 보였습니다. 본 연구 결과는 세밀한(fine-grained) 몰입도 추정이 실현 가능하지만 본질적으로 노이즈가 존재하며, 선호되는 센서 구성은 목표 지표와 실제 감지 부담에 따라 달라진다는 점을 시사합니다. 자기주도 학습에서 세밀한 센서 기반 몰입도 모델링에 대한 재현 가능한 연구를 지원하기 위해 동기화된 멀티모달 센서 신호, 프로브 정렬 몰입도 평가, 비디오 메타데이터, 퀴즈, 학습 자료가 포함된 EduGage 데이터셋을 본 연구의 주요 기여로 공개합니다.