Robust Action Segmentation from Timestamp Supervision
원문 초록
Action segmentation is the task of predicting an action label for each frame of an untrimmed video. As obtaining annotations to train an approach for action segmentation in a fully supervised way is expensive, various approaches have been proposed to train action segmentation models using different forms of weak supervision, e.g., action transcripts, action sets, or more recently timestamps. Timestamp supervision is a promising type of weak supervision as obtaining one timestamp per action is less expensive than annotating all frames, but it provides more information than other forms of weak supervision. However, previous works assume that every action instance is annotated with a timestamp, which is a restrictive assumption since it assumes that annotators do not miss any action. In this work, we relax this restrictive assumption and take missing annotations for some action instances into account. We show that our approach is more robust to missing annotations compared to other approaches and various baselines.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
행동 분할 데이터셋 압축을 위한 적응형 잠재 궤적 앵커링
Adaptive Latent Trajectory Anchoring for Action Segmentation Dataset Condensation
행동 분할을 위한 데이터셋 압축(dataset condensation)은 길고 다듬어지지 않은 비디오 데이터셋을 간결하고 정보가 풍부한 표현으로 합성한다. 기존 방법은 변분 오토인코더(Variational Autoencoder)와 반복적 잠재 최적화에 의존하며, 계산 비용이 크고 과도하게 평탄화된 재구성 및 경직된 시간적 제약이라는 문제를 겪는다. 본 논문은 압축 패러다임을 최적화 기반 역변환에서 결정론적 잠재 매핑으로 전환할 것을 제안한다. 노이즈 제거 확산 암묵 모델(Denoising Diffusion Implicit Models, DDIM)을 활용하여, 행동 구간을 노이즈 매니폴드 내 희소한 잠재 점들에 의해 앵커링된 연속 궤적으로 표현한다. 표현 효율을 극대화하기 위해, 구간별 재구성 난이도에 따라 앵커링 예산을 동적으로 재분배하는 적응형 할당 메커니즘을 도입한다. 광범위한 실험을 통해, 본 프레임워크가 주요 데이터셋에서 분할 성능 면에서 최신 기법들을 크게 능가함을 입증한다. 특히, 본 방법은 Breakfast 데이터셋에서 2.4%의 압축 비율을 유지하면서도 실제 데이터 학습과 동등한 성능을 달성한다.
ASQuery: A Query-based Model for Action Segmentation
Is Weakly-supervised Action Segmentation Ready For Human-Robot Interaction? No, Let's Improve It With Action-union Learning
Alleviating Textual Reliance in Medical Language-guided Segmentation via Prototype-driven Semantic Approximation
A New Dataset and Performance Benchmark for Real-time Spacecraft Segmentation in Onboard Flight Computers
Seg-Wild: Interactive Segmentation based on 3D Gaussian Splatting for Unconstrained Image Collections
토론
이 논문과 연결된 포럼 글이 아직 없습니다.