arXiv:2208.05034

Human Activity Recognition Using Cascaded Dual Attention CNN and Bi-Directional GRU Framework

Hayat Ullah, Arslan Munir

제출 2022-08-09

원문 초록

Vision-based human activity recognition has emerged as one of the essential research areas in video analytics domain. Over the last decade, numerous advanced deep learning algorithms have been introduced to recognize complex human actions from video streams. These deep learning algorithms have shown impressive performance for the human activity recognition task. However, these newly introduced methods either exclusively focus on model performance or the effectiveness of these models in terms of computational efficiency and robustness, resulting in a biased tradeoff in their proposals to deal with challenging human activity recognition problem. To overcome the limitations of contemporary deep learning models for human activity recognition, this paper presents a computationally efficient yet generic spatial-temporal cascaded framework that exploits the deep discriminative spatial and temporal features for human activity recognition. For efficient representation of human actions, we have proposed an efficient dual attentional convolutional neural network (CNN) architecture that leverages a unified channel-spatial attention mechanism to extract human-centric salient features in video frames. The dual channel-spatial attention layers together with the convolutional layers learn to be more attentive in the spatial receptive fields having objects over the number of feature maps. The extracted discriminative salient features are then forwarded to stacked bi-directional gated recurrent unit (Bi-GRU) for long-term temporal modeling and recognition of human actions using both forward and backward pass gradient learning. Extensive experiments are conducted, where the obtained results show that the proposed framework attains an improvement in execution time up to 167 times in terms of frames per second as compared to most of the contemporary action recognition methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27762v1cs.SD공통 태그 Activity Recognition, Computational Efficiency

"무슨 소리지?": 환경 소리 인식을 위한 다재다능하고 견고하며 경량화된 합성곱 트랜스포머

"What's That Sound?": A Versatile, Robust, and Lightweight Convolutional Transformer for Environment Sound Recognition

기존의 보청기는 음성이 아닌 오디오를 감지하도록 설계되지 않아 비용이 많이 들고 사용에 한계가 있습니다. 본 연구의 목적은 청각 장애인의 안전성(safety)을 향상하기 위해 주변 소리를 식별하는 보다 정확하고 경제적인 메커니즘을 제공하는 머신러닝 솔루션을 개발하는 것입니다. 예를 들어 보행자 뒤에서 자동차가 경적을 울리거나 총성이 발생했을 때 발생원으로부터 벗어나야 하는 상황 등이 이에 해당합니다. 오디오에 무작위 증강을 추가하고, 멜 주파수 켑스트럼 계수(MFCCs) 다이어그램과 로그-멜 스펙트로그램을 결합하며, 트랜스포머(Transformer) 아키텍처에 합성곱 신경망(CNN)을 포함함으로써, 무작위 오디오 증강 계층형 합성곱 트랜스포머(RALCT) 모델은 다양화된 오디오 표현으로부터 특징을 효율적으로 추출합니다. 또한, RALCT는 매개변수 수가 약 310,000개에 불과할 정도로 작아 모바일 기기에 배포할 수 있습니다. UrbanSound8K 데이터셋에 대한 실험 결과, RALCT의 모든 변형 모델에서 지속적으로 93% 이상의 정확도를 보였으며 최고 94.56%를 기록하여 최고 수준(SOTA)에 도달했습니다. 이 기술의 역량을 활용하기 위해 모델과 통합되어 실시간 안전 제어를 제공하는 모바일 앱이 개발되었습니다. 따라서 RALCT는 청각 장애인의 이동 및 안전을 지원하는 견고하고 경량화되며 경제적이고 다재다능한 심층 학습 도구를 제시합니다.

arXiv:2609.24127v1cs.CV공통 태그 Activity Recognition, Action Recognition

Action-Slot: 다중 에이전트 원자적 활동 이해를 위한 구조화된 행동 중심 표현 학습

Action-Slot: Structured Action-Centric Representation Learning for Multi-Agent Atomic Activity Understanding

원자적 활동(atomic activity) 이해는 움직임 패턴과 도로 토폴로지(road topology)에 대한 그라운딩을 함께 인코딩하는 구조화된 교통 행동을 인식하고 위치를 파악하는 것을 목표로 한다. 기존의 행동 인식(action recognition)과 달리, 원자적 활동은 다중 에이전트(multi-agent), 다중 레이블(multi-label), 토폴로지 인지(topology-aware) 특성을 가진다: 다수의 활동이 동시에 발생하는 반면 많은 에이전트는 비활성 상태로 남아있다. 우리는 구조화된 행동 중심 표현 학습 프레임워크인 Action-Slot을 소개한다. 슬롯 어텐션(slot attention)은 객체 중심 분해(object-centric decomposition)에 널리 사용되지만, 그 순열 불변(permutation-invariant) 설계와 객체 수준의 귀납적 바이어스(inductive bias)는 원자적 활동의 의미론과 부합하지 않는다. 우리는 다음 세 가지 설계를 통해 슬롯 학습을 구조화된 활동 분해로 재구성한다: (1) 사전에 정의된 활동 카테고리에 슬롯을 고정시키는 카테고리 정렬 행동 슬롯(category-aligned action slots), (2) 전체적인 비디오 수준 추론을 위한 병렬 시공간 슬롯 업데이트, (3) 전경(foreground) 활동과 무관한 영역 간의 경쟁을 강제하는 배경 및 네거티브 슬롯 정규화(regularization). 이들은 함께 원본 비디오로부터 동시적이고 비동기적인 활동들을 직접적으로 분리해내는 활동 중심의 귀납적 바이어스를 확립한다. 인식을 넘어, 학습된 표현은 전이 가능한 시공간적 그라운딩 신호를 인코딩한다. 우리는 나아가 후보 영역 제거 전후의 어텐션 변화를 측정하여 거짓 양성(false positive)을 억제하는 어텐션 차이 기반 의사 마스크(pseudo mask) 선택 프레임워크를 제안하며, 이를 통해 밀집 주석(dense annotation) 없이도 약지도(weakly supervised) 위치 파악이 가능하다. 체계적인 평가를 지원하기 위해, 우리는 원자적 활동을 완전히 포괄하고 픽셀 수준 주석을 갖춘 균형 잡힌 합성 데이터셋(dataset)인 TACO를 소개한다. OATS, TACO, 그리고 주석이 달린 nuScenes에 대한 실험 결과는 우수한 인식 성능, 강력한 시뮬레이션-실제 전이(sim-to-real transfer), 그리고 최신 수준(state-of-the-art)의 약지도 위치 파악 성능을 보여준다.

arXiv:2609.24619v1cs.CV공통 태그 Activity Recognition, Computational Efficiency

동역학 및 불확실성을 고려한 트리 기반 가우시안 프로세스 분류기를 이용한 영상 기반 수술 기량 평가

Video-based Surgical Skill Assessment Using Dynamics-and-Uncertainty-Aware Tree-based Gaussian Process Classifier

제안된 파이프라인은 표현-흐름(representation-flow) 합성곱 신경망과 동역학 및 불확실성을 고려한 트리 기반 가우시안 프로세스(Gaussian Process) 분류기를 통합한다. 이 프레임워크에서 잠재적 운동 동역학(latent motion dynamics)은 판별적 표현(discriminative representation)으로 활용되는 동시에 입력 불확실성의 원천으로도 활용되어, 시간적 변화와 비정상적인 동작 전환에 대한 견고성을 향상시킨다. 기존의 심층 학습 접근법과 비교했을 때, 제안된 전략은 더 적은 학습 데이터를 필요로 하며 계산 효율성이 향상된다. 분류 성능을 더욱 향상시키기 위해, 수술 영상 특징에 내재된 의미론적(semantic), 흐름(flow), 동역학(dynamic) 정보를 효과적으로 포착하는 새로운 의미 인식 복합 커널(semantic-aware compound kernel)을 도입한다. 또한 복합 커널 프레임워크의 견고성과 실용적 적용 가능성을 강화하기 위해 불확실성 인식 커널(uncertainty-aware kernel)을 개발한다. 제안된 방법은 두 가지 벤치마크 데이터셋, 즉 JIGSAWS와 Cataract-LMM(Capsulorhexis) 데이터셋에서 평가되었다. 실험 결과는 두 데이터셋 모두에서 강력한 성능을 보여주며, JIGSAWS에서의 LOSO 및 LOUO 평가 프로토콜을 포함하여, 특히 JIGSAWS에서의 피험자 독립적(subject-independent) LOUO 프로토콜에서 프레임워크는 96.9%의 평균 정확도(mean accuracy)를 달성한다. 피험자 내(within-subject) LOSO 프로토콜 하의 결과는 선행 연구와의 비교 가능성을 위해 보고되었으며, 계산 비용을 크게 절감하면서도 경쟁력 있는 정확도를 달성한다. 전체적으로, 제안된 파이프라인은 영상 기반 수술 기량 평가를 위한 효율적이고 정확한 프레임워크를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.