arXiv:2210.06501

Robust Action Segmentation from Timestamp Supervision

Yaser Souri, Yazan Abu Farha, Emad Bahrami, Gianpiero Francesca, Juergen Gall

제출 2022-10-12

원문 초록

Action segmentation is the task of predicting an action label for each frame of an untrimmed video. As obtaining annotations to train an approach for action segmentation in a fully supervised way is expensive, various approaches have been proposed to train action segmentation models using different forms of weak supervision, e.g., action transcripts, action sets, or more recently timestamps. Timestamp supervision is a promising type of weak supervision as obtaining one timestamp per action is less expensive than annotating all frames, but it provides more information than other forms of weak supervision. However, previous works assume that every action instance is annotated with a timestamp, which is a restrictive assumption since it assumes that annotators do not miss any action. In this work, we relax this restrictive assumption and take missing annotations for some action instances into account. We show that our approach is more robust to missing annotations compared to other approaches and various baselines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09081v1cs.CV공통 태그 Segmentation, Action Segmentation

행동 분할 데이터셋 압축을 위한 적응형 잠재 궤적 앵커링

Adaptive Latent Trajectory Anchoring for Action Segmentation Dataset Condensation

행동 분할을 위한 데이터셋 압축(dataset condensation)은 길고 다듬어지지 않은 비디오 데이터셋을 간결하고 정보가 풍부한 표현으로 합성한다. 기존 방법은 변분 오토인코더(Variational Autoencoder)와 반복적 잠재 최적화에 의존하며, 계산 비용이 크고 과도하게 평탄화된 재구성 및 경직된 시간적 제약이라는 문제를 겪는다. 본 논문은 압축 패러다임을 최적화 기반 역변환에서 결정론적 잠재 매핑으로 전환할 것을 제안한다. 노이즈 제거 확산 암묵 모델(Denoising Diffusion Implicit Models, DDIM)을 활용하여, 행동 구간을 노이즈 매니폴드 내 희소한 잠재 점들에 의해 앵커링된 연속 궤적으로 표현한다. 표현 효율을 극대화하기 위해, 구간별 재구성 난이도에 따라 앵커링 예산을 동적으로 재분배하는 적응형 할당 메커니즘을 도입한다. 광범위한 실험을 통해, 본 프레임워크가 주요 데이터셋에서 분할 성능 면에서 최신 기법들을 크게 능가함을 입증한다. 특히, 본 방법은 Breakfast 데이터셋에서 2.4%의 압축 비율을 유지하면서도 실제 데이터 학습과 동등한 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.