EduGage: 자기주도형 비디오 학습 환경에서 센서 기반 순간 몰입도 평가를 위한 멀티모달 데이터셋 및 벤치마크
EduGage: A Multimodal Dataset and Benchmark for Sensor-Based Momentary Assessment of Engagement in Self-Guided Video Learning
한국어 초록
주의 집중, 정서적, 인지적 차원과 연결되는 몰입도(engagement)는 학습에서 중요한 역할을 합니다. 온라인 및 비디오 기반 학습 환경에서 학습자는 교수 자료와의 상호작용을 스스로 조절해야 하는 경우가 많습니다. 따라서 몰입도를 측정하고 성찰하는 것은 학습자와 적응형 학습 시스템 모두를 지원할 수 있습니다. 본 연구에서는 웨어러블 및 카메라 기반 감지 장치를 사용하여 PPG, ECG, EDA, EEG, IMU, 심박수, 체온, 시선 추적 데이터를 포함한 생체 및 모션 신호를 수집하여 학습자의 몰입도를 추정합니다. 비디오 기반 학습 시나리오에서 16명의 참가자를 대상으로 사용자 연구를 수행하였으며, 참가자들은 학습 과제를 완료하고 직전 1분 동안 주의를 집중하기 얼마나 어려웠는지를 보고하는 1-5점 척도의 현장 몰입도 프로브(engagement-probe) 평가를 반복적으로 제공했습니다. 본 연구는 몰입도 추정을 위한 벤치마크를 구축하고, 다양한 감지 모달리티를 비교하며, 학습자 몰입도를 특성화하기 위한 멀티모달 모델링의 타당성과 효과성을 심층 분석합니다. 참가자 기반 교차 검증에서 모달리티 인식 참조 모델은 0.80의 MAE, 83.18%의 오차 1 이내(within-1) 정확도, 70.96%의 이진 정확도, 62.90%의 이진 Macro-F1을 달성하여 센서 미사용, 통계, 딥 시계열, 파운데이션 모델, 대규모 언어 모델(LLM) 기반 베이스라인보다 우수한 성능을 보였습니다. 본 연구 결과는 세밀한(fine-grained) 몰입도 추정이 실현 가능하지만 본질적으로 노이즈가 존재하며, 선호되는 센서 구성은 목표 지표와 실제 감지 부담에 따라 달라진다는 점을 시사합니다. 자기주도 학습에서 세밀한 센서 기반 몰입도 모델링에 대한 재현 가능한 연구를 지원하기 위해 동기화된 멀티모달 센서 신호, 프로브 정렬 몰입도 평가, 비디오 메타데이터, 퀴즈, 학습 자료가 포함된 EduGage 데이터셋을 본 연구의 주요 기여로 공개합니다.
원문 초록
Engagement, which links to attentional, emotional, and cognitive dimensions, plays an important role in learning. In online and video-based learning environments, learners often need to regulate their own interactions with instructional materials. Measuring and reflecting on engagement can therefore support both learners and adaptive learning systems. In this study, we use wearable and camera-based sensing devices to collect physiological and motion signals, including PPG, ECG, EDA, EEG, IMU, heart rate, temperature, and eye-tracking data, to estimate learner engagement. We conducted a user study with 16 participants in a video-based learning scenario, where participants completed learning tasks and provided repeated in-situ engagement-probe ratings on a 1-5 scale, reporting how difficult it was to pay attention during the preceding minute. We establish a benchmark for engagement estimation, compare different sensing modalities, and further analyze the feasibility and effectiveness of multimodal modeling for characterizing learner engagement. Across participant-based cross-validation, the modality-aware reference model achieves an MAE of 0.80, 83.18% within-1 accuracy, 70.96% binary accuracy, and 62.90% binary Macro-F1, outperforming sensor-free, statistical, deep temporal, foundation-model, and LLM-based baselines. Our results suggest that fine-grained engagement estimation is feasible but inherently noisy, and that the preferred sensing configuration depends on the target metric and practical sensing burden. We release the EduGage dataset as the primary contribution of this work, including synchronized multimodal sensor signals, probe-aligned engagement-probe ratings, video metadata, quizzes, and study materials, to support reproducible research on fine-grained sensor-based engagement modeling in self-guided learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
친숙한 비디오에서의 EEG-fNIRS 감정 회귀를 위한 강력한 기준선으로서의 저비용 비디오-시간 사전확률
Low-Cost Video--Time Priors as a Strong Baseline for EEG--fNIRS Emotion Regression on Familiar Videos
연속 감정 회귀(continuous emotion regression)는 시청자가 비디오를 시청하는 동안 순간순간의 긍정-부정 차원(valence) 및 각성(arousal)을 추정합니다. 친숙한 비디오 배포 환경에서, 학습(training) 참여자별 추정치로부터의 응답을 활용하며, 사전확률(prior)이 지배적인 고정 융합은 생리적 신호가 잔차 보정을 추가하는지 여부를 검증합니다. 24명 대상의 5-겹 피험자 분리 평가(five-fold subject-held-out evaluation)에서 내부 및 외부 평가 기준 각각 융합 대비 0.05 및 0.32 MAE 이내였습니다. 출처 명시적 제거 연구(ablation) 결과, 비디오 식별 정보와 비디오 내 시간이 오차 감소의 대부분을 설명한 반면, EEG-fNIRS를 통한 이득은 더 작았으며 참여자 및 비디오 전반에 걸쳐 편차를 보였습니다. 이러한 결과는 비디오-시간 사전확률을 강력하고 비용이 적게 드는 기준선(baseline)으로 규명하며, EEG-fNIRS를 친숙한 비디오 감정 회귀를 위한 선택적 잔차 신호로 자리매김하게 합니다.
Brain Computer Interface: Deep Learning Approach to Predict Human Emotion Recognition
EEG-based Emotion Recognition via Efficient Convolutional Neural Network and Contrastive Learning
EEG-Based Emotion Recognition Using Genetic Algorithm Optimized Multi-Layer Perceptron
FOIT: Fast Online Instance Transfer for Improved EEG Emotion Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at IMWUT