arXiv:2407.06628

Masked Video and Body-worn IMU Autoencoder for Egocentric Action Recognition

Mingfang Zhang, Yifei HUANG, Ruicong Liu, Yoichi Sato

제출 2024-07-09

원문 초록

Compared with visual signals, Inertial Measurement Units (IMUs) placed on human limbs can capture accurate motion signals while being robust to lighting variation and occlusion. While these characteristics are intuitively valuable to help egocentric action recognition, the potential of IMUs remains under-explored. In this work, we present a novel method for action recognition that integrates motion data from body-worn IMUs with egocentric video. Due to the scarcity of labeled multimodal data, we design an MAE-based self-supervised pretraining method, obtaining strong multi-modal representations via modeling the natural correlation between visual and motion signals. To model the complex relation of multiple IMU devices placed across the body, we exploit the collaborative dynamics in multiple IMU devices and propose to embed the relative motion features of human joints into a graph structure. Experiments show our method can achieve state-of-the-art performance on multiple public datasets. The effectiveness of our MAE-based pretraining and graph-based IMU modeling are further validated by experiments in more challenging scenarios, including partially missing IMU devices and video quality corruption, promoting more flexible usages in the real world.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.13344v3cs.CV공통 태그 Action Recognition공식 코드 · Papers with Code

DeepSTEP: 동물과 인간을 위한 자세의 동시 추적 및 추정

DeepSTEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans

비디오 프레임 전반에 걸쳐 자세를 추정하면서 일관된 개체 식별을 유지하는 것은 행동 분석과 동작 인식 같은 후속 작업에 매우 중요하지만, 기존 파이프라인은 대체로 추적과 자세 추정을 분리하여 다룬다. 하향식 방법은 프레임별 검출 후 개체 연관을 수행하므로 계산 비용이 증가하고 오류가 전파되며, 상향식 방법은 다중 개체 환경에서 개체 식별을 안정적으로 유지하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 해결하기 위해 본 논문은 다양한 동물 종과 인간을 대상으로 추적과 자세 추정을 결합하여 수행하는 Transformer 기반 프레임워크인 DeepSTEP(STEP)를 제안한다. STEP은 위치 파악, 개체 식별 유지, 키포인트 추정을 단일 모델로 통합하여 프레임별 검출이나 사후 매칭의 필요성을 없앤다. 본 접근법은 판별적 모델 가중치 예측을 활용해 프레임 간에 대상 개체의 식별 정보를 전파하면서 해부학적으로 의미 있는 키포인트를 예측한다. 판별적 모델 예측은 일반적으로 사전 정의된 대상 상태를 필요로 한다. 이에 반해 STEP은 첫 프레임의 초기 바운딩 박스만을 가정하므로 명시적인 키포인트 초기화가 필요하지 않다. 이는 직접적인 키포인트 예측을 가능하게 하고 추론을 단순화하는 두 구성 요소인 가우시안 맵 소프트 예측(GMSP)과 오프셋 맵 회귀 어댑터(OMRA)를 통해 구현된다. STEP은 초기 바운딩 박스에서 출발하여 대상을 추적하고 이후 프레임에서 그 자세를 추정한다. 우리는 여러 종에 걸친 데이터셋에서 STEP을 학습하고 평가하였으며, 기존 방법보다 강력한 성능과 높은 효율성을 보였다. STEP은 추적과 자세를 결합하여 모델링함으로써 효과적이고 확장 가능한 해법을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.