arXiv:1911.10751

Deep Image-to-Video Adaptation and Fusion Networks for Action Recognition

Yang Liu, Zhaoyang Lu, Jing Li, Tao Yang, Chao Yao

제출 2019-11-25

원문 초록

Existing deep learning methods for action recognition in videos require a large number of labeled videos for training, which is labor-intensive and time-consuming. For the same action, the knowledge learned from different media types, e.g., videos and images, may be related and complementary. However, due to the domain shifts and heterogeneous feature representations between videos and images, the performance of classifiers trained on images may be dramatically degraded when directly deployed to videos. In this paper, we propose a novel method, named Deep Image-to-Video Adaptation and Fusion Networks (DIVAFN), to enhance action recognition in videos by transferring knowledge from images using video keyframes as a bridge. The DIVAFN is a unified deep learning model, which integrates domain-invariant representations learning and cross-modal feature fusion into a unified optimization framework. Specifically, we design an efficient cross-modal similarities metric to reduce the modality shift among images, keyframes and videos. Then, we adopt an autoencoder architecture, whose hidden layer is constrained to be the semantic representations of the action class names. In this way, when the autoencoder is adopted to project the learned features from different domains to the same space, more compact, informative and discriminative representations can be obtained. Finally, the concatenation of the learned semantic feature representations from these three autoencoders are used to train the classifier for action recognition in videos. Comprehensive experiments on four real-world datasets show that our method outperforms some state-of-the-art domain adaptation and action recognition methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24611v1cs.CV공통 태그 Domain Adaptation, Action Recognition

심각한 분포 이동 환경의 비디오를 위한 이중 지식 증류 기반 테스트 시간 적응

Test-Time Adaptation via Dual Distillation for Videos Under Severe Distribution Shifts

심층 학습 모델은 여러 컴퓨터 비전(CV) 작업에서 최첨단 성능을 달성해 왔다. 그러나 예상치 못한 분포 이동으로 인해 실제 환경에 적용할 때 심각한 성능 저하를 겪는다. 테스트 시간 적응(TTA)은 소스 데이터에 접근하지 않고, 타깃 도메인의 비레이블 데이터를 사용하여 추론 시점에 테스트 분포에 동적으로 적응함으로써 이 문제를 해결하려 한다. 그러나 연속적이고 시간적으로 상관된 데이터(예: 비디오)에 적응하거나, 타깃 도메인에 심각한 도메인 이동이 존재하는 시나리오에서는 TTA가 여전히 어려운 문제로 남아 있다. 이러한 이유로, 문헌에서 이와 같은 극한 조건 하의 비디오 TTA를 탐구한 연구는 많지 않다. 이러한 한계를 극복하기 위해, 우리는 도메인 간격을 메우기 위해 경량 투영 어댑터에 의존하는 온라인 적응 프레임워크인 이중 지식 증류 기반 테스트 시간 적응(TADD)을 제안한다. 어댑터 모듈은 소스 도메인에서 사전학습된 후, 우리가 제안한 상보적 손실을 사용하여 타깃에 적응된다: (i) 제로샷 지식 증류는 사전학습된 비전-언어 모델(VLM)의 도메인 불변 특징과의 정렬을 장려하고, (ii) 타깃 지식 증류는 사전학습된 어댑터에 인코딩된 소스 도메인의 판별적 지식을 유지한다. 고정된 CLIP 백본 위에 구축된 우리 방법은 추론 동안 유일하게 갱신 가능한 구성 요소로 이 경량 투영 어댑터를 도입한다. 우리는 UCF-HMDB, Daily-DA, Sports-DA의 세 가지 잘 알려진 비디오 행동 인식 벤치마크에서 광범위한 평가를 수행했다. 폐쇄 집합(closed-set) 시나리오에서의 실험은 우리 방법이 최첨단 TTA 기준선을 일관되게 능가함을 보여준다. 특히, 우리의 TTA 접근법은 UCF-HMDB에서 최대 +3.81%, Daily-DA에서 +2.63%, Sports-DA에서 +3.03%만큼 이전 방법 대비 향상된다.

arXiv:2607.03327v1cs.CV공통 태그 Domain Adaptation, Action Recognition

일반 동작에서 도메인 특화 모니터링으로: 스켈레톤 기반 행동 인식을 위한 사전 적응형 전이학습

From General Actions to Domain-Specific Monitoring: Prior-Adaptive Transfer for Skeleton-Based Action Recognition

스켈레톤 기반 행동 인식 모델은 최근 일반적인 동작을 다루는 대규모 벤치마크에서 우수한 성능을 보이고 있다. 그러나 이러한 모델을 헬스케어 모니터링과 같은 도메인 특화 과제에 직접 전이하는 것은 종종 최적이 아닌데, 이는 해당 과제들이 범위가 좁고 일반적인 동작 사전(prior) 중 일부에만 연관될 수 있기 때문이다. 또한, 사전학습된 동작 패턴 모두가 특정 과제에 동일하게 유용하지는 않으며, 관련성이 낮은 구성 요소를 유지하면 적응을 저해하고 계산 비용을 증가시킬 수 있다. 이러한 문제를 해결하기 위해, 우리는 Prior-Adaptive Transfer of Skeletons(PATS)를 제안한다. PATS는 전이 과정에서 과제 관련 동작 사전을 선택적으로 유지하고 중복된 사전을 제거함으로써 일반적인 스켈레톤 기반 모델을 적응시키는 프레임워크이다. PATS는 비디오에서 스켈레톤 신호를 추출하고 일반 동작으로 사전학습된 시공간 백본을 활용하는 표준 파이프라인을 따른다. 핵심 기여는 반복적인 가지치기(pruning)와 정제를 통해 사전 선택 메커니즘으로서 모델 압축을 수행하는 새로운 Adaptive Prior Transfer 모듈에 있다. 알츠하이머 탐지와 낙상 탐지라는 두 가지 특화된 행동 인식 과제에 대한 실험에서, PATS는 경쟁력 있는 기준 모델들 대비 성능과 효율성 모두에서 일관된 향상을 보여준다. 코드는 논문 게재 승인 후 공개될 예정이다.

arXiv:2607.12909v2q-bio.NC공통 태그 Action Recognition

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.