Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild
원문 초록
We introduce Nymeria - a large-scale, diverse, richly annotated human motion dataset collected in the wild with multiple multimodal egocentric devices. The dataset comes with a) full-body ground-truth motion; b) multiple multimodal egocentric data from Project Aria devices with videos, eye tracking, IMUs and etc; and c) a third-person perspective by an additional observer. All devices are precisely synchronized and localized in on metric 3D world. We derive hierarchical protocol to add in-context language descriptions of human motion, from fine-grain motion narration, to simplified atomic action and high-level activity summarization. To the best of our knowledge, Nymeria dataset is the world's largest collection of human motion in the wild; first of its kind to provide synchronized and localized multi-device multimodal egocentric data; and the world's largest motion-language dataset. It provides 300 hours of daily activities from 264 participants across 50 locations, total travelling distance over 399Km. The language descriptions contain 301.5K sentences in 8.64M words from a vocabulary size of 6545. To demonstrate the potential of the dataset, we evaluate several SOTA algorithms for egocentric body tracking, motion synthesis, and action recognition. Data and code are open-sourced for research (c.f. https://www.projectaria.com/datasets/nymeria).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SAGE: 인간 행동 이해를 위한 동기화된 행동-시선 인식 및 예측
SAGE: Synchronized Action-Gaze Recognition and Anticipation for Human Behavior Understanding
인간-객체 상호작용(HOI), 시선 패턴, 그리고 이들의 예측은 서로 복잡하게 연결되어 있으며, 인지 과정, 의도, 행동에 대한 중요한 통찰을 제공한다. 그러나 기존 모델의 대부분은 시선과 행동을 별도로 처리함으로써, 이 둘의 상호의존성과 통합된 솔루션의 이점을 놓치고 있다. 본 논문은 새로운 통합 프레임워크인 SAGE(Synchronized Action-GazE)를 제안한다. SAGE는 HOI와 인간 시선의 동시 인식 및 예측을 단일 엔드투엔드 학습 가능한 모델로 통합한다. 제안된 접근법은 트랜스포머 기반 아키텍처를 활용하며, 시선 데이터를 시공간 어텐션 메커니즘에 통합하여 현재 및 미래의 인간 행동과 시선 행동을 동시에 예측한다. 근접하고 세밀한 시점(에고센트릭)과 더 넓고 맥락적인 시점(엑소센트릭) 등 다양한 시나리오에서 시선과 행동 간의 양방향 관계를 탐구함으로써, 본 프레임워크는 다양한 응용 분야에서 범용적으로 활용 가능하다. 또한, 엑소센트릭 영상에서 HOI와 시선 모두를 종합적으로 분석할 수 있는 데이터셋의 부재로 인해, 해당 연구 분야의 심화 연구를 촉진하기 위한 새로운 벤치마크 Exo-Cook을 구축한다. VidHOI, EGTEA Gaze+, Exo-Cook 세 가지 벤치마크 데이터셋을 대상으로 한 실험에서, 현재 및 미래 프레임 전반에 걸쳐 시선과 행동을 공동 모델링하면 일관되게 강력한 결과를 달성하며, 개별 태스크에 특화된 최신 전문 모델을 종종 능가한다는 것을 보인다. 행동과 어텐션을 포괄적으로 통합함으로써, 본 연구는 보다 직관적인 인간-기계 상호작용의 토대를 마련한다.
How Much Future Helps? A Controlled Study of Future-Privileged Supervision for Causal Egocentric Gaze Estimation
1인칭 시점(Egocentric) 시선 추정은 미래 프레임에 접근하여 전체 비디오를 처리하는 모델을 사용해 주로 연구되어 왔으나, 실제 응용에서는 엄격하게 인과적인 온라인 예측이 요구된다. 이러한 불일치는 핵심적인 질문을 제기한다: 미래 컨텍스트는 본질적으로 시선 추정에 유용한 신호를 제공하는가? 만약 그렇다면, 학습 중 인과적 모델을 최적으로 감독하기 위해 얼마나 많은 미래 look-ahead가 필요한가? 이를 조사하기 위해, 우리는 학습 중 조정 가능한 look-ahead 수평선에 접근하지만 추론 시에는 제거되는 미래 인식 브랜치를 포함하는 통제된 프레임워크를 제안한다. 이 설계는 추론 아키텍처를 고정되고 엄격하게 인과적으로 유지하면서 미래 컨텍스트의 영향을 분리한다. EGTEA Gaze+와 Ego4D에 걸쳐, 미래 특권 감독이 인과적 시선 예측을 일관되게 향상시켜 그 유용성을 확인하였다. 그러나 성능 향상은 look-ahead가 길어질수록 단조롭게 증가하지 않고, 제한된 시간적 범위 내에서 최고점에 도달한다. 구체적으로, 최적 성능은 EGTEA Gaze+에서 약 1.7--3.3초의 미래 컨텍스트($H{\in}[5, 10]$)에, Ego4D에서 2.7초($H{=}10$)에 해당한다. 본 결과는 경량 인과적 모델이 미래 인식 신호를 효과적으로 흡수할 수 있음을 보여주며, 실시간 1인칭 시점 시선 모델링을 위한 실용적인 지침을 제공한다.
MOCHI: 협업형 인간-객체 상호작용의 모션 향상
MOCHI: Motion Enhancement of Collaborative Human-object Interactions
협업형 인간-객체 상호작용은 참여자와 공유 객체 간의 상호 예측과 지속적인 조정을 요구하는 역동적이고 복잡한 움직임을 보입니다. 이러한 협업형 다중 인간-객체 상호작용(MHOI) 시나리오를 모델링하려면 고품질 데이터 획득이 기초 단계로 필수적이지만, 인간-인간 및 인간-객체 상호작용이 동시에 발생하는 MHOI의 내재된 복잡성으로 인해 이는 어려운 과제입니다. 이러한 복잡성은 손과 객체 간의 접촉 정렬 불일치, 캡처된 시퀀스의 모션 지터(jitter) 및 시간적 불일치, 그리고 손가락 수준의 관절 세부 정보 누락 또는 불완전함과 같은 여러 아티팩트(artifacts)가 특징인 노이즈가 섞인 MHOI 캡처 데이터로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 노이즈가 섞인 MHOI 데이터를 향상시키기 위한 2단계 프레임워크인 MOCHI를 제시합니다. 우리의 접근 방식은 먼저 노이즈가 섞인 신체 입력을 통해 최적화를 수행하여 물리적으로 타당한 손 그립(grasp)을 생성함으로써, 신체 자세와 의미적으로 일치하는 그립을 만들어내고, 이러한 최적화된 그립을 완전한 손-객체 상호작용 시퀀스로 확장합니다. 결과적으로, 모든 참여자의 전신 모션은 단일 인간 모션 사전(priors)을 사용하는 디퓨전 기반 노이즈 최적화 프레임워크를 통해 정제됩니다. 최적화 과정에서, 우리는 이러한 단일 인간 사전 내에 인간-객체 및 인간-인간 상호작용 정보를 인코딩하기 위한 최적화 목적 함수(objectives)를 도입합니다. 실험 결과는 기존 캡처 방법으로 획득되었거나 생성 모델에 의해 합성된 다양한 MHOI 데이터에 걸쳐 우리 파이프라인의 효과성을 입증합니다. 우리는 또한 참여자 수와 상호작용 유형의 변화에 따른 시스템의 견고성(robustness)을 보여주며, 키프레임 기반 MHOI 생성 및 다양한 객체 형상(geometries)을 통한 데이터 증강을 포함한 다양한 응용 사례를 시연합니다.
OmniFall: From Staged Through Synthetic to Wild, A Unified Multi-Domain Dataset for Robust Fall Detection
DeepGesture: A conversational gesture synthesis system based on emotions and semantics
Zero-shot Skeleton-based Action Recognition with Prototype-guided Feature Alignment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.