arXiv:2206.15031

Timestamp-Supervised Action Segmentation with Graph Convolutional Networks

Hamza Khan, Sanjay Haresh, Awais Ahmed, Shakeeb Siddiqui, Andrey Konin, M. Zeeshan Zia, Quoc-Huy Tran

제출 2022-06-30

원문 초록

We introduce a novel approach for temporal activity segmentation with timestamp supervision. Our main contribution is a graph convolutional network, which is learned in an end-to-end manner to exploit both frame features and connections between neighboring frames to generate dense framewise labels from sparse timestamp labels. The generated dense framewise labels can then be used to train the segmentation model. In addition, we propose a framework for alternating learning of both the segmentation model and the graph convolutional model, which first initializes and then iteratively refines the learned models. Detailed experiments on four public datasets, including 50 Salads, GTEA, Breakfast, and Desktop Assembly, show that our method is superior to the multi-layer perceptron baseline, while performing on par with or better than the state of the art in temporal activity segmentation with timestamp supervision.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09081v1cs.CV공통 태그 Segmentation, Action Segmentation

행동 분할 데이터셋 압축을 위한 적응형 잠재 궤적 앵커링

Adaptive Latent Trajectory Anchoring for Action Segmentation Dataset Condensation

행동 분할을 위한 데이터셋 압축(dataset condensation)은 길고 다듬어지지 않은 비디오 데이터셋을 간결하고 정보가 풍부한 표현으로 합성한다. 기존 방법은 변분 오토인코더(Variational Autoencoder)와 반복적 잠재 최적화에 의존하며, 계산 비용이 크고 과도하게 평탄화된 재구성 및 경직된 시간적 제약이라는 문제를 겪는다. 본 논문은 압축 패러다임을 최적화 기반 역변환에서 결정론적 잠재 매핑으로 전환할 것을 제안한다. 노이즈 제거 확산 암묵 모델(Denoising Diffusion Implicit Models, DDIM)을 활용하여, 행동 구간을 노이즈 매니폴드 내 희소한 잠재 점들에 의해 앵커링된 연속 궤적으로 표현한다. 표현 효율을 극대화하기 위해, 구간별 재구성 난이도에 따라 앵커링 예산을 동적으로 재분배하는 적응형 할당 메커니즘을 도입한다. 광범위한 실험을 통해, 본 프레임워크가 주요 데이터셋에서 분할 성능 면에서 최신 기법들을 크게 능가함을 입증한다. 특히, 본 방법은 Breakfast 데이터셋에서 2.4%의 압축 비율을 유지하면서도 실제 데이터 학습과 동등한 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.