Highly accurate gaze estimation using a consumer RGB-depth sensor
원문 초록
Determining the direction in which a person is looking is an important problem in a wide range of HCI applications. In this paper we describe a highly accurate algorithm that performs gaze estimation using an affordable and widely available device such as Kinect. The method we propose starts by performing accurate head pose estimation achieved by fitting a person specific morphable model of the face to depth data. The ordinarily competing requirements of high accuracy and high speed are met concurrently by formulating the fitting objective function as a combination of terms which excel either in accurate or fast fitting, and then by adaptively adjusting their relative contributions throughout fitting. Following pose estimation, pose normalization is done by re-rendering the fitted model as a frontal face. Finally gaze estimates are obtained through regression from the appearance of the eyes in synthetic, normalized images. Using EYEDIAP, the standard public dataset for the evaluation of gaze estimation algorithms from RGB-D data, we demonstrate that our method greatly outperforms the state of the art.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
좌표 특이점이 시선 및 머리 자세의 등각 커버리지를 깨뜨린다
Coordinate Singularities Break Conformal Coverage for Gaze and Head Pose
등각 예측(Conformal prediction)은 비전 시스템에 분포 무관 신뢰성 보장을 제공하지만, 이 보장은 출력 공간에서 예측 오류를 어떻게 측정하느냐에 달려 있다. 많은 비전 태스크는 곡면 공간(예: 구면 위의 시선 방향이나 3D 머리 회전)에서 출력을 생성하지만, 중간 예측 헤드, 잔차, 불확실성 추정치, 또는 등각 점수는 흔히 요-피치(yaw-pitch)나 오일러 각(Euler angles)과 같은 평탄 좌표 차트로 정의된다. 본 논문에서는 이러한 점수 산정 방식이 좌표 특이점 근방(구면에서의 큰 피치 각도 및 3D 회전에서 짐벌 락(gimbal lock)에 근접한 자세)에서 체계적인 기하학적 왜곡을 유발함을 보인다. 네 개의 데이터셋(ETH-XGaze, Gaze360, BIWI, AFLW2000-3D)에서, 명목 목표 90%에 대한 슬라이스 조건부 커버리지(slice-conditional coverage)는 해당 영역에서 30~50 퍼센트포인트 하락하였다. 시선 피치가 70도를 초과할 때 ETH-XGaze에서 38.9%, Gaze360에서 42.0%까지 떨어졌으며, 짐벌 락 근방 머리 자세 피치가 60도를 초과할 때 BIWI에서 57.5%, AFLW2000-3D에서 55.2%까지 하락했다. 이는 주변 커버리지(marginal coverage)가 90% 근방을 유지함에도 불구하고 나타난 결과이다. 우리는 이것이 구조적 문제임을 증명한다. 스칼라 임계값 설정(scalar thresholding)은 차트 좌표 예측 집합의 크기를 변경하지만, 왜곡된 축 비율은 변하지 않은 채로 남긴다. 이 숨겨진 실패 양상을 진단하기 위해, 리만 부피 밀도(Riemannian volume density)라는 단순한 기하학적 양이 커버리지 붕괴가 발생하는 위치와 강한 상관관계를 보임을 제시한다. 마지막으로, 좌표 독립적 측지 점수(coordinate-free geodesic scoring)가 이 왜곡을 제거함을 보인다. 이 방법은 재학습이 필요 없으며 무시할 수 있는 수준의 계산 비용만 추가된다.
TextGaze: 텍스트 장면 단서를 활용한 시선 목표 추정 프롬프팅
TextGaze: Prompting Gaze Target Estimation with Textual Scene Cues
시선 목표 추정(gaze target estimation)은 장면 내에서 사람의 시선 위치를 추론하는 것을 목표로 한다. 주류 설계 방식에서, 다중 브랜치 방법은 추가적인 지도 학습과 어노테이션을 필요로 하는 반면, 간소화된 설계는 실제 시선 의도보다 저수준 시각적 현저성(visual saliency)을 우선시한다. 전자는 높은 어노테이션 부담과 도메인 전이의 어려움을 초래하고, 후자는 예측된 어텐션과 실제 시선 목표 간의 불일치를 야기한다. 이 문제를 해결하기 위해, 우리는 대규모 비전-언어 모델(LVLM)을 확장 가능한 의미론적 가이던스로 활용하여 두 설계 패러다임의 균형을 맞추는 통합 크로스모달 아키텍처인 TextGaze를 제안한다. 이 모델은 고정된 인코더에서 시각적 특징을 추출하고, LVLM을 활용하여 시선 정렬된 텍스트 단서를 획득한다. 우리는 태스크 의미론을 보존하기 위해 계층적 텍스트 지도 학습을 적용한 트랜스포머 기반 융합 모듈을 설계한다. 경량 디코딩 헤드는 시선 히트맵과 프레임 내/외 상태의 공동 예측을 가능하게 한다. 우리는 네 가지 주류 데이터셋에서 방법을 평가하였으며, 결과는 추가적인 미세조정 없이 강건한 크로스 데이터셋 일반화와 함께 주요 지표에서 경쟁력 있는 성능을 보여준다. 전반적으로, 우리는 전통적인 설계에 대한 간소화된 대안을 제공하고, 시선 추정을 위한 접근 가능한 보조 가이던스로서 LVLM의 잠재력을 제시한다.
단일 카메라와 단일 광원을 이용한 양안 시선 추정
Binocular Gaze Estimation with Single Camera and Single Light Source
일반적으로 합의된 이론에 따르면, 자유로운 머리 움직임에서 시선 추정을 구현하기 위한 시선 추적기의 최소 하드웨어 요구사항은 카메라 1개와 광원 2개이다. 그러나 모바일 기기에서의 눈 추적과 같은 일부 시나리오에서는 구성 요소, 특히 광원을 적게 사용하는 것이 바람직하다. 본 논문에서는 카메라 1개와 광원 1개를 이용한 시선 추정 방법을 제안한다. 카메라를 기준으로 실제 광원과 기하학적으로 대칭되는 위치에 배치되는 "가상 광원"을 도입하여 획득된 이미지에 "가상 글린트(virtual glint)"를 생성한다. 촬영 이미지에서 두 동공 간 거리와 두 글린트 간 거리의 관계를 활용하여 "가상 글린트"를 추정하고, 두 개의 광원이 존재한다고 가정한 다항 회귀를 통해 시선을 추정한다. 회귀 방법에 대한 새로운 정규화 인수를 검증하였으며, 이는 단일 글린트 시스템에 실용적임이 밝혀졌다. 실제 광원 2개를 사용하는 시스템과 비교하여 성능 저하가 관찰되었으나, 전반적인 성능은 수용 가능한 수준임이 입증되었다.
Bengal-HP_RU: 두부 자세 추정을 위한 벵갈 인물 데이터셋
Bengal-HP_RU: A Dataset of Bengal People For Head Pose Estimation
기존 두부 자세 데이터셋은 주로 서양 또는 동아시아 출신의 피험자들을 대상으로 하여, 남아시아 인구, 특히 벵갈인이 크게 과소 대표되어 있다. 우리는 벵갈 피험자를 중심으로 한 최초의 공개 두부 자세 데이터셋인 Bengal-HP_RU를 소개한다. 이 데이터셋은 연속적인 편요(yaw), 앙각(pitch), 롤(roll) 값으로 주석이 달린 12,894장의 레이블된 두부 이미지로 구성된다. 이미지는 자유 라이선스 하에 Wikimedia Commons에서 수집되었으며, 자동화된 파이프라인과 수동 레이블 수정 과정을 거쳐 처리되었다. 데이터셋은 데이터 오염을 방지하기 위해 Wikimedia 업로더 신원을 기준으로 분할되어, 296명의 고유 업로더에 걸쳐 10,494개의 학습 이미지와 2,400개의 테스트 이미지로 구성된다. Bengal-HP_RU는 피험자 연령, 성별, 폐색, 조명 및 배경에서 상당한 다양성을 보이며, 실제 환경(in-the-wild) 조건을 반영한다. 데이터셋은 https://doi.org/10.17632/xbw9kr37jb.2 에서 공개적으로 이용 가능하다.
Head Pose Estimation Based on 5D Rotation Representation
Domain Adaptation for Head Pose Estimation Using Relative Pose Consistency
토론
이 논문과 연결된 포럼 글이 아직 없습니다.