arXiv:2402.05248

Comparative Analysis of Kinect-Based and Oculus-Based Gaze Region Estimation Methods in a Driving Simulator

David González-Ortega, Francisco Javier Díaz-Perna, Mario Martínez-Zarzuela, Míriam Antón-Rodríguez

제출 2024-02-04

원문 초록

Driver's gaze information can be crucial in driving research because of its relation to driver attention. Particularly, the inclusion of gaze data in driving simulators broadens the scope of research studies as they can relate drivers' gaze patterns to their features and performance. In this paper, we present two gaze region estimation modules integrated in a driving simulator. One uses the 3D Kinect device and another uses the virtual reality Oculus Rift device. The modules are able to detect the region, out of seven in which the driving scene was divided, where a driver is gazing at in every route processed frame. Four methods were implemented and compared for gaze estimation, which learn the relation between gaze displacement and head movement. Two are simpler and based on points that try to capture this relation and two are based on classifiers such as MLP and SVM. Experiments were carried out with 12 users that drove on the same scenario twice, each one with a different visualization display, first with a big screen and later with Oculus Rift. On the whole, Oculus Rift outperformed Kinect as the best hardware for gaze estimation. The Oculus-based gaze region estimation method with the highest performance achieved an accuracy of 97.94%. The information provided by the Oculus Rift module enriches the driving simulator data and makes it possible a multimodal driving performance analysis apart from the immersion and realism obtained with the virtual reality experience provided by Oculus.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22847v1cs.CV공통 태그 Relation, Gaze Estimation

시선 고정 소셜 넷: 공동 모델링을 통한 암묵적 관계 해독

Gaze-Anchored Social Net: Decoding Implicit Relations via Joint Modeling

인간의 시선은 시각적 대상을 가리키는 것 이상의 역할을 하며, 정적 이미지 내에서 사회적 의도의 미묘한 지표로 작용한다. 반면 표준 모델은 일반적으로 개인을 독립적으로 처리하며, 시선을 i.i.d. 양으로 취급하거나 사회적 의미를 고립된 상태에서 예측한다. 최근 다인(multi-person) 방법들이 이를 해결하려 시도하지만, 사회적 관계를 시선 추정 과정과 분리된 경직된 사후(post-hoc) 분류로 취급하는 경우가 많다. 이러한 과단순화는 사회적 의도의 미묘한 특성을 포착하지 못한다. 사회적 의도는 부차적인 범주형 출력이 아니라 시선 행동의 근본적 동인으로 작용하기 때문이다. 우리는 이러한 한계를 해결하기 위해 ANCHOR를 제안한다. 시각적 어텐션과 잠재적 암묵적 관계의 공동 분포를 모델링함으로써 시선 고정(gaze-anchored) 사회적 의도를 해독하도록 설계된 대상 중심(target-centric) 패러다임이다. 우리 접근법은 이러한 의존성을 시선 행동의 잠재적 구조적 골격으로 드러낸다. 아키텍처는 관계형 어텐션 메커니즘을 활용하여 세밀한 대인관계 연결을 포착하고, 단일 비전 백본에서 효율적인 다인 파싱을 위해 특징(feature)별 변조를 활용한다. 이 결합된 공식화의 학습을 안정화하기 위해, 공간적 시선 정확도와 잠재적 사회적 추론 간의 고유한 충돌을 해결하는 최적화 시너지를 구현한다. 이 접근법은 경쟁하는 태스크 그래디언트를 조화시키면서 안정적이고 평평한(flat) 최솟값을 추구함으로써 견고한 일반화를 보장한다. 우리는 밀집 다인 주석과 새로운 사회적 영향력 순위를 포함하는 확장된 벤치마크에서 프레임워크를 검증한다. 결과는 최신(state-of-the-art) 성능을 보여주며, 암묵적 사회적 위계가 정적 시선 패턴으로부터 직접 견고하게 분리(disentangle)되어 학습될 수 있음을 보여주는 최초의 정량적 증거를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.