Face-from-Depth for Head Pose Estimation on Depth Images
원문 초록
Depth cameras allow to set up reliable solutions for people monitoring and behavior understanding, especially when unstable or poor illumination conditions make unusable common RGB sensors. Therefore, we propose a complete framework for the estimation of the head and shoulder pose based on depth images only. A head detection and localization module is also included, in order to develop a complete end-to-end system. The core element of the framework is a Convolutional Neural Network, called POSEidon+, that receives as input three types of images and provides the 3D angles of the pose as output. Moreover, a Face-from-Depth component based on a Deterministic Conditional GAN model is able to hallucinate a face from the corresponding depth image. We empirically demonstrate that this positively impacts the system performances. We test the proposed framework on two public datasets, namely Biwi Kinect Head Pose and ICT-3DHP, and on Pandora, a new challenging dataset mainly inspired by the automotive setup. Experimental results show that our method overcomes several recent state-of-art works based on both intensity and depth input data, running in real-time at more than 30 frames per second.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
좌표 특이점이 시선 및 머리 자세의 등각 커버리지를 깨뜨린다
Coordinate Singularities Break Conformal Coverage for Gaze and Head Pose
등각 예측(Conformal prediction)은 비전 시스템에 분포 무관 신뢰성 보장을 제공하지만, 이 보장은 출력 공간에서 예측 오류를 어떻게 측정하느냐에 달려 있다. 많은 비전 태스크는 곡면 공간(예: 구면 위의 시선 방향이나 3D 머리 회전)에서 출력을 생성하지만, 중간 예측 헤드, 잔차, 불확실성 추정치, 또는 등각 점수는 흔히 요-피치(yaw-pitch)나 오일러 각(Euler angles)과 같은 평탄 좌표 차트로 정의된다. 본 논문에서는 이러한 점수 산정 방식이 좌표 특이점 근방(구면에서의 큰 피치 각도 및 3D 회전에서 짐벌 락(gimbal lock)에 근접한 자세)에서 체계적인 기하학적 왜곡을 유발함을 보인다. 네 개의 데이터셋(ETH-XGaze, Gaze360, BIWI, AFLW2000-3D)에서, 명목 목표 90%에 대한 슬라이스 조건부 커버리지(slice-conditional coverage)는 해당 영역에서 30~50 퍼센트포인트 하락하였다. 시선 피치가 70도를 초과할 때 ETH-XGaze에서 38.9%, Gaze360에서 42.0%까지 떨어졌으며, 짐벌 락 근방 머리 자세 피치가 60도를 초과할 때 BIWI에서 57.5%, AFLW2000-3D에서 55.2%까지 하락했다. 이는 주변 커버리지(marginal coverage)가 90% 근방을 유지함에도 불구하고 나타난 결과이다. 우리는 이것이 구조적 문제임을 증명한다. 스칼라 임계값 설정(scalar thresholding)은 차트 좌표 예측 집합의 크기를 변경하지만, 왜곡된 축 비율은 변하지 않은 채로 남긴다. 이 숨겨진 실패 양상을 진단하기 위해, 리만 부피 밀도(Riemannian volume density)라는 단순한 기하학적 양이 커버리지 붕괴가 발생하는 위치와 강한 상관관계를 보임을 제시한다. 마지막으로, 좌표 독립적 측지 점수(coordinate-free geodesic scoring)가 이 왜곡을 제거함을 보인다. 이 방법은 재학습이 필요 없으며 무시할 수 있는 수준의 계산 비용만 추가된다.
Bengal-HP_RU: 두부 자세 추정을 위한 벵갈 인물 데이터셋
Bengal-HP_RU: A Dataset of Bengal People For Head Pose Estimation
기존 두부 자세 데이터셋은 주로 서양 또는 동아시아 출신의 피험자들을 대상으로 하여, 남아시아 인구, 특히 벵갈인이 크게 과소 대표되어 있다. 우리는 벵갈 피험자를 중심으로 한 최초의 공개 두부 자세 데이터셋인 Bengal-HP_RU를 소개한다. 이 데이터셋은 연속적인 편요(yaw), 앙각(pitch), 롤(roll) 값으로 주석이 달린 12,894장의 레이블된 두부 이미지로 구성된다. 이미지는 자유 라이선스 하에 Wikimedia Commons에서 수집되었으며, 자동화된 파이프라인과 수동 레이블 수정 과정을 거쳐 처리되었다. 데이터셋은 데이터 오염을 방지하기 위해 Wikimedia 업로더 신원을 기준으로 분할되어, 296명의 고유 업로더에 걸쳐 10,494개의 학습 이미지와 2,400개의 테스트 이미지로 구성된다. Bengal-HP_RU는 피험자 연령, 성별, 폐색, 조명 및 배경에서 상당한 다양성을 보이며, 실제 환경(in-the-wild) 조건을 반영한다. 데이터셋은 https://doi.org/10.17632/xbw9kr37jb.2 에서 공개적으로 이용 가능하다.
Head Pose Estimation Based on 5D Rotation Representation
Domain Adaptation for Head Pose Estimation Using Relative Pose Consistency
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.