arXiv:1607.06250

Dynamic Pose-Robust Facial Expression Recognition by Multi-View Pairwise Conditional Random Forests

Arnaud Dapogny, Kévin Bailly, Séverine Dubuisson

제출 2016-07-21

원문 초록

Automatic facial expression classification (FER) from videos is a critical problem for the development of intelligent human-computer interaction systems. Still, it is a challenging problem that involves capturing high-dimensional spatio-temporal patterns describing the variation of one's appearance over time. Such representation undergoes great variability of the facial morphology and environmental factors as well as head pose variations. In this paper, we use Conditional Random Forests to capture low-level expression transition patterns. More specifically, heterogeneous derivative features (e.g. feature point movements or texture variations) are evaluated upon pairs of images. When testing on a video frame, pairs are created between this current frame and previous ones and predictions for each previous frame are used to draw trees from Pairwise Conditional Random Forests (PCRF) whose pairwise outputs are averaged over time to produce robust estimates. Moreover, PCRF collections can also be conditioned on head pose estimation for multi-view dynamic FER. As such, our approach appears as a natural extension of Random Forests for learning spatio-temporal patterns, potentially from multiple viewpoints. Experiments on popular datasets show that our method leads to significant improvements over standard Random Forests as well as state-of-the-art approaches on several scenarios, including a novel multi-view video corpus generated from a publicly available database.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.02565v1cs.CV공통 태그 Pose Estimation, Head Pose Estimation

좌표 특이점이 시선 및 머리 자세의 등각 커버리지를 깨뜨린다

Coordinate Singularities Break Conformal Coverage for Gaze and Head Pose

등각 예측(Conformal prediction)은 비전 시스템에 분포 무관 신뢰성 보장을 제공하지만, 이 보장은 출력 공간에서 예측 오류를 어떻게 측정하느냐에 달려 있다. 많은 비전 태스크는 곡면 공간(예: 구면 위의 시선 방향이나 3D 머리 회전)에서 출력을 생성하지만, 중간 예측 헤드, 잔차, 불확실성 추정치, 또는 등각 점수는 흔히 요-피치(yaw-pitch)나 오일러 각(Euler angles)과 같은 평탄 좌표 차트로 정의된다. 본 논문에서는 이러한 점수 산정 방식이 좌표 특이점 근방(구면에서의 큰 피치 각도 및 3D 회전에서 짐벌 락(gimbal lock)에 근접한 자세)에서 체계적인 기하학적 왜곡을 유발함을 보인다. 네 개의 데이터셋(ETH-XGaze, Gaze360, BIWI, AFLW2000-3D)에서, 명목 목표 90%에 대한 슬라이스 조건부 커버리지(slice-conditional coverage)는 해당 영역에서 30~50 퍼센트포인트 하락하였다. 시선 피치가 70도를 초과할 때 ETH-XGaze에서 38.9%, Gaze360에서 42.0%까지 떨어졌으며, 짐벌 락 근방 머리 자세 피치가 60도를 초과할 때 BIWI에서 57.5%, AFLW2000-3D에서 55.2%까지 하락했다. 이는 주변 커버리지(marginal coverage)가 90% 근방을 유지함에도 불구하고 나타난 결과이다. 우리는 이것이 구조적 문제임을 증명한다. 스칼라 임계값 설정(scalar thresholding)은 차트 좌표 예측 집합의 크기를 변경하지만, 왜곡된 축 비율은 변하지 않은 채로 남긴다. 이 숨겨진 실패 양상을 진단하기 위해, 리만 부피 밀도(Riemannian volume density)라는 단순한 기하학적 양이 커버리지 붕괴가 발생하는 위치와 강한 상관관계를 보임을 제시한다. 마지막으로, 좌표 독립적 측지 점수(coordinate-free geodesic scoring)가 이 왜곡을 제거함을 보인다. 이 방법은 재학습이 필요 없으며 무시할 수 있는 수준의 계산 비용만 추가된다.

arXiv:2606.24122v1cs.CV공통 태그 Pose Estimation, Head Pose Estimation

Bengal-HP_RU: 두부 자세 추정을 위한 벵갈 인물 데이터셋

Bengal-HP_RU: A Dataset of Bengal People For Head Pose Estimation

기존 두부 자세 데이터셋은 주로 서양 또는 동아시아 출신의 피험자들을 대상으로 하여, 남아시아 인구, 특히 벵갈인이 크게 과소 대표되어 있다. 우리는 벵갈 피험자를 중심으로 한 최초의 공개 두부 자세 데이터셋인 Bengal-HP_RU를 소개한다. 이 데이터셋은 연속적인 편요(yaw), 앙각(pitch), 롤(roll) 값으로 주석이 달린 12,894장의 레이블된 두부 이미지로 구성된다. 이미지는 자유 라이선스 하에 Wikimedia Commons에서 수집되었으며, 자동화된 파이프라인과 수동 레이블 수정 과정을 거쳐 처리되었다. 데이터셋은 데이터 오염을 방지하기 위해 Wikimedia 업로더 신원을 기준으로 분할되어, 296명의 고유 업로더에 걸쳐 10,494개의 학습 이미지와 2,400개의 테스트 이미지로 구성된다. Bengal-HP_RU는 피험자 연령, 성별, 폐색, 조명 및 배경에서 상당한 다양성을 보이며, 실제 환경(in-the-wild) 조건을 반영한다. 데이터셋은 https://doi.org/10.17632/xbw9kr37jb.2 에서 공개적으로 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.