Modality Mixer Exploiting Complementary Information for Multi-modal Action Recognition
원문 초록
Due to the distinctive characteristics of sensors, each modality exhibits unique physical properties. For this reason, in the context of multi-modal action recognition, it is important to consider not only the overall action content but also the complementary nature of different modalities. In this paper, we propose a novel network, named Modality Mixer (M-Mixer) network, which effectively leverages and incorporates the complementary information across modalities with the temporal context of actions for action recognition. A key component of our proposed M-Mixer is the Multi-modal Contextualization Unit (MCU), a simple yet effective recurrent unit. Our MCU is responsible for temporally encoding a sequence of one modality (e.g., RGB) with action content features of other modalities (e.g., depth and infrared modalities). This process encourages M-Mixer network to exploit global action content and also to supplement complementary information of other modalities. Furthermore, to extract appropriate complementary information regarding to the given modality settings, we introduce a new module, named Complementary Feature Extraction Module (CFEM). CFEM incorporates sepearte learnable query embeddings for each modality, which guide CFEM to extract complementary information and global action content from the other modalities. As a result, our proposed method outperforms state-of-the-art methods on NTU RGB+D 60, NTU RGB+D 120, and NW-UCLA datasets. Moreover, through comprehensive ablation studies, we further validate the effectiveness of our proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DeepSTEP: 동물과 인간을 위한 자세의 동시 추적 및 추정
DeepSTEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans
비디오 프레임 전반에 걸쳐 자세를 추정하면서 일관된 개체 식별을 유지하는 것은 행동 분석과 동작 인식 같은 후속 작업에 매우 중요하지만, 기존 파이프라인은 대체로 추적과 자세 추정을 분리하여 다룬다. 하향식 방법은 프레임별 검출 후 개체 연관을 수행하므로 계산 비용이 증가하고 오류가 전파되며, 상향식 방법은 다중 개체 환경에서 개체 식별을 안정적으로 유지하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 해결하기 위해 본 논문은 다양한 동물 종과 인간을 대상으로 추적과 자세 추정을 결합하여 수행하는 Transformer 기반 프레임워크인 DeepSTEP(STEP)를 제안한다. STEP은 위치 파악, 개체 식별 유지, 키포인트 추정을 단일 모델로 통합하여 프레임별 검출이나 사후 매칭의 필요성을 없앤다. 본 접근법은 판별적 모델 가중치 예측을 활용해 프레임 간에 대상 개체의 식별 정보를 전파하면서 해부학적으로 의미 있는 키포인트를 예측한다. 판별적 모델 예측은 일반적으로 사전 정의된 대상 상태를 필요로 한다. 이에 반해 STEP은 첫 프레임의 초기 바운딩 박스만을 가정하므로 명시적인 키포인트 초기화가 필요하지 않다. 이는 직접적인 키포인트 예측을 가능하게 하고 추론을 단순화하는 두 구성 요소인 가우시안 맵 소프트 예측(GMSP)과 오프셋 맵 회귀 어댑터(OMRA)를 통해 구현된다. STEP은 초기 바운딩 박스에서 출발하여 대상을 추적하고 이후 프레임에서 그 자세를 추정한다. 우리는 여러 종에 걸친 데이터셋에서 STEP을 학습하고 평가하였으며, 기존 방법보다 강력한 성능과 높은 효율성을 보였다. STEP은 추적과 자세를 결합하여 모델링함으로써 효과적이고 확장 가능한 해법을 제공한다.
OmniFall: From Staged Through Synthetic to Wild, A Unified Multi-Domain Dataset for Robust Fall Detection
Zero-shot Skeleton-based Action Recognition with Prototype-guided Feature Alignment
HopaDIFF: Holistic-Partial Aware Fourier Conditioned Diffusion for Referring Human Action Segmentation in Multi-Person Scenarios
EPFL-Smart-Kitchen-30: Densely annotated cooking dataset with 3D kinematics to challenge video and language models
EgoExOR: An Ego-Exo-Centric Operating Room Dataset for Surgical Activity Understanding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.