arXiv:2306.04822

Optimizing ViViT Training: Time and Memory Reduction for Action Recognition

Shreyank N Gowda, Anurag Arnab, Jonathan Huang

제출 2023-06-07

원문 초록

In this paper, we address the challenges posed by the substantial training time and memory consumption associated with video transformers, focusing on the ViViT (Video Vision Transformer) model, in particular the Factorised Encoder version, as our baseline for action recognition tasks. The factorised encoder variant follows the late-fusion approach that is adopted by many state of the art approaches. Despite standing out for its favorable speed/accuracy tradeoffs among the different variants of ViViT, its considerable training time and memory requirements still pose a significant barrier to entry. Our method is designed to lower this barrier and is based on the idea of freezing the spatial transformer during training. This leads to a low accuracy model if naively done. But we show that by (1) appropriately initializing the temporal transformer (a module responsible for processing temporal information) (2) introducing a compact adapter model connecting frozen spatial representations ((a module that selectively focuses on regions of the input image) to the temporal transformer, we can enjoy the benefits of freezing the spatial transformer without sacrificing accuracy. Through extensive experimentation over 6 benchmarks, we demonstrate that our proposed training strategy significantly reduces training costs (by $\sim 50\%$) and memory consumption while maintaining or slightly improving performance by up to 1.79\% compared to the baseline model. Our approach additionally unlocks the capability to utilize larger image transformer models as our spatial transformer and access more frames with the same memory consumption.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.13344v3cs.CV공통 태그 Action Recognition공식 코드 · Papers with Code

DeepSTEP: 동물과 인간을 위한 자세의 동시 추적 및 추정

DeepSTEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans

비디오 프레임 전반에 걸쳐 자세를 추정하면서 일관된 개체 식별을 유지하는 것은 행동 분석과 동작 인식 같은 후속 작업에 매우 중요하지만, 기존 파이프라인은 대체로 추적과 자세 추정을 분리하여 다룬다. 하향식 방법은 프레임별 검출 후 개체 연관을 수행하므로 계산 비용이 증가하고 오류가 전파되며, 상향식 방법은 다중 개체 환경에서 개체 식별을 안정적으로 유지하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 해결하기 위해 본 논문은 다양한 동물 종과 인간을 대상으로 추적과 자세 추정을 결합하여 수행하는 Transformer 기반 프레임워크인 DeepSTEP(STEP)를 제안한다. STEP은 위치 파악, 개체 식별 유지, 키포인트 추정을 단일 모델로 통합하여 프레임별 검출이나 사후 매칭의 필요성을 없앤다. 본 접근법은 판별적 모델 가중치 예측을 활용해 프레임 간에 대상 개체의 식별 정보를 전파하면서 해부학적으로 의미 있는 키포인트를 예측한다. 판별적 모델 예측은 일반적으로 사전 정의된 대상 상태를 필요로 한다. 이에 반해 STEP은 첫 프레임의 초기 바운딩 박스만을 가정하므로 명시적인 키포인트 초기화가 필요하지 않다. 이는 직접적인 키포인트 예측을 가능하게 하고 추론을 단순화하는 두 구성 요소인 가우시안 맵 소프트 예측(GMSP)과 오프셋 맵 회귀 어댑터(OMRA)를 통해 구현된다. STEP은 초기 바운딩 박스에서 출발하여 대상을 추적하고 이후 프레임에서 그 자세를 추정한다. 우리는 여러 종에 걸친 데이터셋에서 STEP을 학습하고 평가하였으며, 기존 방법보다 강력한 성능과 높은 효율성을 보였다. STEP은 추적과 자세를 결합하여 모델링함으로써 효과적이고 확장 가능한 해법을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.