시간적 이벤트 검증을 통한 실시간 지능형 영상 감시를 위한 멀티태스크 심층 학습 프레임워크
A Multi-Task Deep Learning Framework for Real-Time Intelligent Video Surveillance with Temporal Event Validation
현대 영상 감시 시스템은 인간 운영자가 효과적으로 모니터링할 수 있는 수준을 훨씬 초과하는 영상 스트림을 생성하므로, 보안 이벤트의 신속한 탐지를 위해 자동화된 분석이 필수적이다. 본 논문은 공유 GPU 플랫폼에서 구역 기반 인가를 포함한 얼굴 인식, 자동 번호판 인식, 무기 탐지, 화재 및 연기 탐지, 인간 행동 인식을 동시에 수행하는 통합 멀티태스크 심층 학습 프레임워크를 제시한다. 공개 데이터셋에서 충분히 다루어지지 않는 시나리오를 해결하기 위해, 본 연구에서는 두 가지 태스크별 심층 학습 모델을 제안한다: 병합 및 재레이블링된 데이터셋에서 파인튜닝된 단일 클래스 무기 탐지기([email omitted] = 0.947 달성)와, 614개의 영상 클립으로 구성된 자체 구축 반달리즘 데이터셋에서 학습된 SlowFast-R50 행동 인식 모델(94.33% 분류 정확도 달성)이다. 연속 영상에서의 견고성을 향상시키기 위해, 모든 탐지 모듈은 다중 프레임 확인, 신뢰도 가중 투표, 연쇄 필터링에 기반한 시간적 이벤트 검증 아키텍처에 통합되어 프레임 수준의 예측을 신뢰할 수 있는 보안 이벤트로 변환한다. 각 모듈은 공개 데이터셋(LFW, D-Fire, FIRESENSE, UCF-Crime)에서 독립적으로 평가된 후, 통합 엔드투엔드 시스템 평가가 수행된다. 제안된 시간적 검증 전략은 화재 및 연기의 오경보율을 52%에서 4%로 낮추고, 영상 번호판 정확 일치 정확도를 66.7%에서 81.8%로 향상시키며, 전체 프레임워크는 일반 하드웨어에서 프레임당 지연 시간 100ms 미만으로 실시간 동작을 유지한다. 이러한 결과는 특화된 심층 학습 모델과 시간적 이벤트 검증의 결합이 신뢰할 수 있는 실시간 지능형 영상 감시를 위한 효과적이고 실용적인 솔루션임을 입증한다.