Multimodal Engagement Analysis from Facial Videos in the Classroom
원문 초록
Student engagement is a key construct for learning and teaching. While most of the literature explored the student engagement analysis on computer-based settings, this paper extends that focus to classroom instruction. To best examine student visual engagement in the classroom, we conducted a study utilizing the audiovisual recordings of classes at a secondary school over one and a half month's time, acquired continuous engagement labeling per student (N=15) in repeated sessions, and explored computer vision methods to classify engagement levels from faces in the classroom. We trained deep embeddings for attentional and emotional features, training Attention-Net for head pose estimation and Affect-Net for facial expression recognition. We additionally trained different engagement classifiers, consisting of Support Vector Machines, Random Forest, Multilayer Perceptron, and Long Short-Term Memory, for both features. The best performing engagement classifiers achieved AUCs of .620 and .720 in Grades 8 and 12, respectively. We further investigated fusion strategies and found score-level fusion either improves the engagement classifiers or is on par with the best performing modality. We also investigated the effect of personalization and found that using only 60-seconds of person-specific data selected by margin uncertainty of the base classifier yielded an average AUC improvement of .084. 4.Our main aim with this work is to provide the technical means to facilitate the manual data analysis of classroom videos in research on teaching quality and in the context of teacher training.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
좌표 특이점이 시선 및 머리 자세의 등각 커버리지를 깨뜨린다
Coordinate Singularities Break Conformal Coverage for Gaze and Head Pose
등각 예측(Conformal prediction)은 비전 시스템에 분포 무관 신뢰성 보장을 제공하지만, 이 보장은 출력 공간에서 예측 오류를 어떻게 측정하느냐에 달려 있다. 많은 비전 태스크는 곡면 공간(예: 구면 위의 시선 방향이나 3D 머리 회전)에서 출력을 생성하지만, 중간 예측 헤드, 잔차, 불확실성 추정치, 또는 등각 점수는 흔히 요-피치(yaw-pitch)나 오일러 각(Euler angles)과 같은 평탄 좌표 차트로 정의된다. 본 논문에서는 이러한 점수 산정 방식이 좌표 특이점 근방(구면에서의 큰 피치 각도 및 3D 회전에서 짐벌 락(gimbal lock)에 근접한 자세)에서 체계적인 기하학적 왜곡을 유발함을 보인다. 네 개의 데이터셋(ETH-XGaze, Gaze360, BIWI, AFLW2000-3D)에서, 명목 목표 90%에 대한 슬라이스 조건부 커버리지(slice-conditional coverage)는 해당 영역에서 30~50 퍼센트포인트 하락하였다. 시선 피치가 70도를 초과할 때 ETH-XGaze에서 38.9%, Gaze360에서 42.0%까지 떨어졌으며, 짐벌 락 근방 머리 자세 피치가 60도를 초과할 때 BIWI에서 57.5%, AFLW2000-3D에서 55.2%까지 하락했다. 이는 주변 커버리지(marginal coverage)가 90% 근방을 유지함에도 불구하고 나타난 결과이다. 우리는 이것이 구조적 문제임을 증명한다. 스칼라 임계값 설정(scalar thresholding)은 차트 좌표 예측 집합의 크기를 변경하지만, 왜곡된 축 비율은 변하지 않은 채로 남긴다. 이 숨겨진 실패 양상을 진단하기 위해, 리만 부피 밀도(Riemannian volume density)라는 단순한 기하학적 양이 커버리지 붕괴가 발생하는 위치와 강한 상관관계를 보임을 제시한다. 마지막으로, 좌표 독립적 측지 점수(coordinate-free geodesic scoring)가 이 왜곡을 제거함을 보인다. 이 방법은 재학습이 필요 없으며 무시할 수 있는 수준의 계산 비용만 추가된다.
Bengal-HP_RU: 두부 자세 추정을 위한 벵갈 인물 데이터셋
Bengal-HP_RU: A Dataset of Bengal People For Head Pose Estimation
기존 두부 자세 데이터셋은 주로 서양 또는 동아시아 출신의 피험자들을 대상으로 하여, 남아시아 인구, 특히 벵갈인이 크게 과소 대표되어 있다. 우리는 벵갈 피험자를 중심으로 한 최초의 공개 두부 자세 데이터셋인 Bengal-HP_RU를 소개한다. 이 데이터셋은 연속적인 편요(yaw), 앙각(pitch), 롤(roll) 값으로 주석이 달린 12,894장의 레이블된 두부 이미지로 구성된다. 이미지는 자유 라이선스 하에 Wikimedia Commons에서 수집되었으며, 자동화된 파이프라인과 수동 레이블 수정 과정을 거쳐 처리되었다. 데이터셋은 데이터 오염을 방지하기 위해 Wikimedia 업로더 신원을 기준으로 분할되어, 296명의 고유 업로더에 걸쳐 10,494개의 학습 이미지와 2,400개의 테스트 이미지로 구성된다. Bengal-HP_RU는 피험자 연령, 성별, 폐색, 조명 및 배경에서 상당한 다양성을 보이며, 실제 환경(in-the-wild) 조건을 반영한다. 데이터셋은 https://doi.org/10.17632/xbw9kr37jb.2 에서 공개적으로 이용 가능하다.
EfficientFER: EfficientNetv2 Based Deep Learning Approach for Facial Expression Recognition
SDAFE: A Dual-filter Stable Diffusion Data Augmentation Method for Facial Expression Recognition
Head Pose Estimation Based on 5D Rotation Representation
Joint Training on Multiple Datasets With Inconsistent Labeling Criteria for Facial Expression Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.