논문 ID: 2015.72987

Hierarchical recurrent neural network for skeleton based action recognition

Yong Du, Wei Wang, Liang Wang

제출 2015-06-07

원문 초록

Human actions can be represented by the trajectories of skeleton joints. Traditional methods generally model the spatial structure and temporal dynamics of human skeleton with hand-crafted features and recognize human actions by well-designed classifiers. In this paper, considering that recurrent neural network (RNN) can model the long-term contextual information of temporal sequences well, we propose an end-to-end hierarchical RNN for skeleton based action recognition. Instead of taking the whole skeleton as the input, we divide the human skeleton into five parts according to human physical structure, and then separately feed them to five subnets. As the number of layers increases, the representations extracted by the subnets are hierarchically fused to be the inputs of higher layers. The final representations of the skeleton sequences are fed into a single-layer perceptron, and the temporally accumulated output of the perceptron is the final decision. We compare with five other deep RNN architectures derived from our model to verify the effectiveness of the proposed network, and also compare with several other methods on three publicly available datasets. Experimental results demonstrate that our model achieves the state-of-the-art performance with high computational efficiency.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23601v1cs.CV공통 태그 Computational Efficiency, Action Recognition

PREM: 장시간 비디오 이해를 위한 접두 문맥 기반 순환 메모리

PREM: Prefix-Steered Recurrent Memory for Long-Video Understanding

장시간 비디오 이해(long-video understanding)는 엄격한 토큰(token) 예산 하에서 일시적인 시각적 증거를 포착해야 하지만, 기존 방법들은 프레임을 압축하거나, 메모리 토큰을 추가하거나, 내부 키-값(KV) 캐시를 변경한다. 본 논문에서는 고정된(frozen) 비전-언어 모델(VLM)을 위한 메모리 토큰이 필요 없는 프레임워크인 접두 문맥 기반 순환 메모리(Prefix-Steered Recurrent Memory, PREM)를 제안한다. PREM은 비디오 수집(ingestion)과 질의 응답을 분리한다: 순환 작성기(recurrent writer)가 시각적 스트림을 256 KiB 크기의 컴팩트한 다중 슬롯 연상 상태(multi-slot associative state)로 증류(distill)하는 동안, 질문 조건부 판독기(question-conditioned readout)는 프리필(prefill) 과정에서 메모리에서 유래한 키/값(K/V) 조향(steering) 변조를 기존의 비시각적 프롬프트 접두 문맥에 추가한다. 이를 통해 추가적인 프롬프트 토큰이나 디코딩 순환(recurrence) 없이 한 번 작성하고 여러 번 질의하는(write-once, query-many) 추론이 가능해진다. 오프라인 및 스트리밍 종료 시점(end-of-stream) 설정에서 6개의 장시간 비디오 벤치마크(benchmark)에 걸쳐, PREM은 평가된 모든 시각 예산 수준에서 고정(frozen) 베이스라인을 일관되게 능가한다. 16프레임으로 제한된 예산 하에서, PREM은 Qwen2.5-VL-3B에서 매크로 평균 정확도를 3.06% 향상시키며, 행동 반의어 식별(action antonym identification)에서 11.0%, 국소화된 니들 검색(localized needle retrieval)에서 9.9%의 향상을 보인다. 이러한 향상은 백본(backbone) 파라미터의 0.24%만을 튜닝하고, 최대 GPU 메모리 오버헤드 0.03 GiB만을 필요로 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.