arXiv:2005.03209

Hierarchical Attention Network for Action Segmentation

Harshala Gammulle, Simon Denman, Sridha Sridharan, Clinton Fookes

제출 2020-05-07

원문 초록

The temporal segmentation of events is an essential task and a precursor for the automatic recognition of human actions in the video. Several attempts have been made to capture frame-level salient aspects through attention but they lack the capacity to effectively map the temporal relationships in between the frames as they only capture a limited span of temporal dependencies. To this end we propose a complete end-to-end supervised learning approach that can better learn relationships between actions over time, thus improving the overall segmentation performance. The proposed hierarchical recurrent attention framework analyses the input video at multiple temporal scales, to form embeddings at frame level and segment level, and perform fine-grained action segmentation. This generates a simple, lightweight, yet extremely effective architecture for segmenting continuous video streams and has multiple application domains. We evaluate our system on multiple challenging public benchmark datasets, including MERL Shopping, 50 salads, and Georgia Tech Egocentric datasets, and achieves state-of-the-art performance. The evaluated datasets encompass numerous video capture settings which are inclusive of static overhead camera views and dynamic, ego-centric head-mounted camera views, demonstrating the direct applicability of the proposed framework in a variety of settings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09081v1cs.CV공통 태그 Segmentation, Action Segmentation

행동 분할 데이터셋 압축을 위한 적응형 잠재 궤적 앵커링

Adaptive Latent Trajectory Anchoring for Action Segmentation Dataset Condensation

행동 분할을 위한 데이터셋 압축(dataset condensation)은 길고 다듬어지지 않은 비디오 데이터셋을 간결하고 정보가 풍부한 표현으로 합성한다. 기존 방법은 변분 오토인코더(Variational Autoencoder)와 반복적 잠재 최적화에 의존하며, 계산 비용이 크고 과도하게 평탄화된 재구성 및 경직된 시간적 제약이라는 문제를 겪는다. 본 논문은 압축 패러다임을 최적화 기반 역변환에서 결정론적 잠재 매핑으로 전환할 것을 제안한다. 노이즈 제거 확산 암묵 모델(Denoising Diffusion Implicit Models, DDIM)을 활용하여, 행동 구간을 노이즈 매니폴드 내 희소한 잠재 점들에 의해 앵커링된 연속 궤적으로 표현한다. 표현 효율을 극대화하기 위해, 구간별 재구성 난이도에 따라 앵커링 예산을 동적으로 재분배하는 적응형 할당 메커니즘을 도입한다. 광범위한 실험을 통해, 본 프레임워크가 주요 데이터셋에서 분할 성능 면에서 최신 기법들을 크게 능가함을 입증한다. 특히, 본 방법은 Breakfast 데이터셋에서 2.4%의 압축 비율을 유지하면서도 실제 데이터 학습과 동등한 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.