NAS-TC: Neural Architecture Search on Temporal Convolutions for Complex Action Recognition
원문 초록
In the field of complex action recognition in videos, the quality of the designed model plays a crucial role in the final performance. However, artificially designed network structures often rely heavily on the researchers' knowledge and experience. Accordingly, because of the automated design of its network structure, Neural architecture search (NAS) has achieved great success in the image processing field and attracted substantial research attention in recent years. Although some NAS methods have reduced the number of GPU search days required to single digits in the image field, directly using 3D convolution to extend NAS to the video field is still likely to produce a surge in computing volume. To address this challenge, we propose a new processing framework called Neural Architecture Search- Temporal Convolutional (NAS-TC). Our proposed framework is divided into two phases. In the first phase, the classical CNN network is used as the backbone network to complete the computationally intensive feature extraction task. In the second stage, a simple stitching search to the cell is used to complete the relatively lightweight long-range temporal-dependent information extraction. This ensures our method will have more reasonable parameter assignments and can handle minute-level videos. Finally, we conduct sufficient experiments on multiple benchmark datasets and obtain competitive recognition accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FPGN: 미분 가능한 LUT를 이용한 초고속 프로그래머블 게이트 기반 신경망 가속의 재정의
FPGN: Redefining Ultra-Fast Programmable Gate-based Neural Acceleration with Differentiable LUTs
심층 신경망(DNN)에서 나노초 수준의 추론 지연을 달성하는 것은 지연 시간이 중요한 애플리케이션에서 핵심 아키텍처 과제로 부상하고 있다. 필드 프로그래머블 게이트 어레이(FPGA)는 저지연 추론을 위한 유망한 기반을 제공하지만, 기존 FPGA 가속기는 여전히 산술 연산 중심으로 LUT를 주로 수치 연산자와 주변 로직의 구성 요소로만 활용한다. 이와 달리, 최근의 LUT 네이티브 신경망은 LUT를 학습 가능한 뉴런으로 취급하여 내재적 논리 표현성을 활용할 수 있는 이론적 잠재력을 보여준다. 그러나 기존 방법들은 대부분 알고리즘 최적화에 국한되어 이 이론적 잠재력을 고성능 FPGA 가속기로 실현하는 데 실패한다. 구체적으로, 이들의 미분 가능한 공식은 FPGA LUT 프리미티브와 충실히 일치하지 않고, 물리적 특성을 고려하지 않은 토폴로지는 배선 가능성과 타이밍 클로저를 저해하며, 자동화된 최적화 흐름의 부재는 체계적인 설계 공간 탐험(DSE) 및 효율적인 하드웨어 구현을 방해한다. 본 논문에서는 LUT 네이티브 학습과 지연 최적화된 FPGA 구현 간의 격차를 해소하는 종단간 물리적 인식 프레임워크인 FPGN을 제안한다. FPGN은 (i) FPGA 네이티브 LUT 뉴런 학습을 위한 하드웨어 정렬 미분 가능 공식, (ii) 배선 지역성과 타이밍 클로저를 향상시키는 스트리밍 하드웨어 아키텍처를 갖춘 구조화된 LUT 네이티브 토폴로지, (iii) 고충실도 분석적 결과 품질 모델을 활용하여 DSE와 하드웨어 생성을 자동화하는 지연 기반 컴파일러를 통해 이러한 과제를 해결한다. 실험 결과, FPGN은 대표적인 FPGA 기반 BNN 가속기 대비 최대 205배의 지연 감소와 기존 미분 가능한 LUT 네이티브 네트워크 대비 최대 30배 높은 LUT 효율을 달성하면서 경쟁력 있는 추론 정확도를 유지함을 보인다.
시간적 이벤트 검증을 통한 실시간 지능형 영상 감시를 위한 멀티태스크 심층 학습 프레임워크
A Multi-Task Deep Learning Framework for Real-Time Intelligent Video Surveillance with Temporal Event Validation
현대 영상 감시 시스템은 인간 운영자가 효과적으로 모니터링할 수 있는 수준을 훨씬 초과하는 영상 스트림을 생성하므로, 보안 이벤트의 신속한 탐지를 위해 자동화된 분석이 필수적이다. 본 논문은 공유 GPU 플랫폼에서 구역 기반 인가를 포함한 얼굴 인식, 자동 번호판 인식, 무기 탐지, 화재 및 연기 탐지, 인간 행동 인식을 동시에 수행하는 통합 멀티태스크 심층 학습 프레임워크를 제시한다. 공개 데이터셋에서 충분히 다루어지지 않는 시나리오를 해결하기 위해, 본 연구에서는 두 가지 태스크별 심층 학습 모델을 제안한다: 병합 및 재레이블링된 데이터셋에서 파인튜닝된 단일 클래스 무기 탐지기([email omitted] = 0.947 달성)와, 614개의 영상 클립으로 구성된 자체 구축 반달리즘 데이터셋에서 학습된 SlowFast-R50 행동 인식 모델(94.33% 분류 정확도 달성)이다. 연속 영상에서의 견고성을 향상시키기 위해, 모든 탐지 모듈은 다중 프레임 확인, 신뢰도 가중 투표, 연쇄 필터링에 기반한 시간적 이벤트 검증 아키텍처에 통합되어 프레임 수준의 예측을 신뢰할 수 있는 보안 이벤트로 변환한다. 각 모듈은 공개 데이터셋(LFW, D-Fire, FIRESENSE, UCF-Crime)에서 독립적으로 평가된 후, 통합 엔드투엔드 시스템 평가가 수행된다. 제안된 시간적 검증 전략은 화재 및 연기의 오경보율을 52%에서 4%로 낮추고, 영상 번호판 정확 일치 정확도를 66.7%에서 81.8%로 향상시키며, 전체 프레임워크는 일반 하드웨어에서 프레임당 지연 시간 100ms 미만으로 실시간 동작을 유지한다. 이러한 결과는 특화된 심층 학습 모델과 시간적 이벤트 검증의 결합이 신뢰할 수 있는 실시간 지능형 영상 감시를 위한 효과적이고 실용적인 솔루션임을 입증한다.
BenchENAS: A Benchmarking Platform for Evolutionary Neural Architecture Search
MMNet: A Model-Based Multimodal Network for Human Action Recognition in RGB-D Videos
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
토론
이 논문과 연결된 포럼 글이 아직 없습니다.