Hierarchical Attention Network for Action Segmentation
원문 초록
The temporal segmentation of events is an essential task and a precursor for the automatic recognition of human actions in the video. Several attempts have been made to capture frame-level salient aspects through attention but they lack the capacity to effectively map the temporal relationships in between the frames as they only capture a limited span of temporal dependencies. To this end we propose a complete end-to-end supervised learning approach that can better learn relationships between actions over time, thus improving the overall segmentation performance. The proposed hierarchical recurrent attention framework analyses the input video at multiple temporal scales, to form embeddings at frame level and segment level, and perform fine-grained action segmentation. This generates a simple, lightweight, yet extremely effective architecture for segmenting continuous video streams and has multiple application domains. We evaluate our system on multiple challenging public benchmark datasets, including MERL Shopping, 50 salads, and Georgia Tech Egocentric datasets, and achieves state-of-the-art performance. The evaluated datasets encompass numerous video capture settings which are inclusive of static overhead camera views and dynamic, ego-centric head-mounted camera views, demonstrating the direct applicability of the proposed framework in a variety of settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
행동 분할 데이터셋 압축을 위한 적응형 잠재 궤적 앵커링
Adaptive Latent Trajectory Anchoring for Action Segmentation Dataset Condensation
행동 분할을 위한 데이터셋 압축(dataset condensation)은 길고 다듬어지지 않은 비디오 데이터셋을 간결하고 정보가 풍부한 표현으로 합성한다. 기존 방법은 변분 오토인코더(Variational Autoencoder)와 반복적 잠재 최적화에 의존하며, 계산 비용이 크고 과도하게 평탄화된 재구성 및 경직된 시간적 제약이라는 문제를 겪는다. 본 논문은 압축 패러다임을 최적화 기반 역변환에서 결정론적 잠재 매핑으로 전환할 것을 제안한다. 노이즈 제거 확산 암묵 모델(Denoising Diffusion Implicit Models, DDIM)을 활용하여, 행동 구간을 노이즈 매니폴드 내 희소한 잠재 점들에 의해 앵커링된 연속 궤적으로 표현한다. 표현 효율을 극대화하기 위해, 구간별 재구성 난이도에 따라 앵커링 예산을 동적으로 재분배하는 적응형 할당 메커니즘을 도입한다. 광범위한 실험을 통해, 본 프레임워크가 주요 데이터셋에서 분할 성능 면에서 최신 기법들을 크게 능가함을 입증한다. 특히, 본 방법은 Breakfast 데이터셋에서 2.4%의 압축 비율을 유지하면서도 실제 데이터 학습과 동등한 성능을 달성한다.
ASQuery: A Query-based Model for Action Segmentation
Is Weakly-supervised Action Segmentation Ready For Human-Robot Interaction? No, Let's Improve It With Action-union Learning
Alleviating Textual Reliance in Medical Language-guided Segmentation via Prototype-driven Semantic Approximation
A New Dataset and Performance Benchmark for Real-time Spacecraft Segmentation in Onboard Flight Computers
Seg-Wild: Interactive Segmentation based on 3D Gaussian Splatting for Unconstrained Image Collections
토론
이 논문과 연결된 포럼 글이 아직 없습니다.