arXiv:2406.11778

Brain-inspired Computational Modeling of Action Recognition with Recurrent Spiking Neural Networks Equipped with Reinforcement Delay Learning

Alireza Nadafian, Milad Mozafari, Timothée Masquelier, Mohammad Ganjtabesh

제출 2024-06-17

원문 초록

The growing interest in brain-inspired computational models arises from the remarkable problem-solving efficiency of the human brain. Action recognition, a complex task in computational neuroscience, has received significant attention due to both its intricate nature and the brain's exceptional performance in this area. Nevertheless, current solutions for action recognition either exhibit limitations in effectively addressing the problem or lack the necessary biological plausibility. Deep neural networks, for instance, demonstrate acceptable performance but deviate from biological evidence, thereby restricting their suitability for brain-inspired computational studies. On the other hand, the majority of brain-inspired models proposed for action recognition exhibit significantly lower effectiveness compared to deep models and fail to achieve human-level performance. This deficiency can be attributed to their disregard for the underlying mechanisms of the brain. In this article, we present an effective brain-inspired computational model for action recognition. We equip our model with novel biologically plausible mechanisms for spiking neural networks that are crucial for learning spatio-temporal patterns. The key idea behind these new mechanisms is to bridge the gap between the brain's capabilities and action recognition tasks by integrating key biological principles into our computational framework. Furthermore, we evaluate the performance of our model against other models using a benchmark dataset for action recognition, DVS-128 Gesture. The results show that our model outperforms previous biologically plausible models and competes with deep supervised models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.13344v3cs.CV공통 태그 Action Recognition공식 코드 · Papers with Code

DeepSTEP: 동물과 인간을 위한 자세의 동시 추적 및 추정

DeepSTEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans

비디오 프레임 전반에 걸쳐 자세를 추정하면서 일관된 개체 식별을 유지하는 것은 행동 분석과 동작 인식 같은 후속 작업에 매우 중요하지만, 기존 파이프라인은 대체로 추적과 자세 추정을 분리하여 다룬다. 하향식 방법은 프레임별 검출 후 개체 연관을 수행하므로 계산 비용이 증가하고 오류가 전파되며, 상향식 방법은 다중 개체 환경에서 개체 식별을 안정적으로 유지하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 해결하기 위해 본 논문은 다양한 동물 종과 인간을 대상으로 추적과 자세 추정을 결합하여 수행하는 Transformer 기반 프레임워크인 DeepSTEP(STEP)를 제안한다. STEP은 위치 파악, 개체 식별 유지, 키포인트 추정을 단일 모델로 통합하여 프레임별 검출이나 사후 매칭의 필요성을 없앤다. 본 접근법은 판별적 모델 가중치 예측을 활용해 프레임 간에 대상 개체의 식별 정보를 전파하면서 해부학적으로 의미 있는 키포인트를 예측한다. 판별적 모델 예측은 일반적으로 사전 정의된 대상 상태를 필요로 한다. 이에 반해 STEP은 첫 프레임의 초기 바운딩 박스만을 가정하므로 명시적인 키포인트 초기화가 필요하지 않다. 이는 직접적인 키포인트 예측을 가능하게 하고 추론을 단순화하는 두 구성 요소인 가우시안 맵 소프트 예측(GMSP)과 오프셋 맵 회귀 어댑터(OMRA)를 통해 구현된다. STEP은 초기 바운딩 박스에서 출발하여 대상을 추적하고 이후 프레임에서 그 자세를 추정한다. 우리는 여러 종에 걸친 데이터셋에서 STEP을 학습하고 평가하였으며, 기존 방법보다 강력한 성능과 높은 효율성을 보였다. STEP은 추적과 자세를 결합하여 모델링함으로써 효과적이고 확장 가능한 해법을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.