umm.ac.id

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.06691v1cs.CV

CoDAT: 효율적인 엣지 행동 인식을 위한 저비용 시간적 모델링 기반 협력적 이중 어텐션 트랜스포머

CoDAT: Collaborative Dual-Attention Transformer with Low-Cost Temporal Modeling for Efficient Edge Action Recognition

사물인터넷(IoT) 엣지 디바이스에서의 실시간 인간 행동 인식은 엄격한 지연 시간, 메모리 및 전력 제약 내에서 풍부한 시공간적 단서를 포착하는 모델을 필요로 합니다. 현재의 3D CNN, 비디오 트랜스포머(video transformer), 시프트 기반 ViT는 높은 정확도를 제공하지만 계산 비용이 높아 엣지 IoT 배치가 어렵습니다. 본 논문에서는 기존의 멀티헤드 어텐션을 경량 이중 분기 모듈로 대체하는 협력적 이중 어텐션 트랜스포머인 CoDAT를 제안합니다. 이 모듈은 국소적 집계를 위한 공간 합성곱 어텐션(Spatial Convolutional Attention, SCA)과 전역적 문맥을 위한 스트라이드 단일 헤드 어텐션(Strided Single-Head Attention, SSHA)으로 구성됩니다. SSHA는 스트라이드 기반 희소 프로젝션을 통해 쿼리(query), 키(key), 밸류(value) 텐서의 공간 해상도와 채널 차원을 함께 압축한 뒤, 크게 절감된 비용으로 결과적인 전역 및 국소 특징을 융합합니다. 프레임 간의 시간적 통신을 가능하게 하기 위해 각 블록에는 매개변수가 없는(parameter-free) TShift 모듈이 임베딩됩니다. Jetson AGX Orin 및 Raspberry Pi 5에서의 광범위한 실험을 통해 CoDAT가 이미지 및 행동 인식 모두에서 에너지-정확도 균형을 달성함을 입증합니다. ImageNet-1K에서 CoDAT-M은 유사한 정확도를 유지하면서 EfficientViT384 및 FastViT-S12보다 2배 빠르게 실행되며, CoDAT-L은 3배 적은 매개변수로 ViT-S와 동등한 성능을 내면서 처리량은 2배 더 높습니다. Kinetics-400 및 MA-52에서 CoDAT는 최첨단 CNN, 트랜스포머, 하이브리드 베이스라인 대비 경쟁력 있는 Top-1 정확도를 달성하는 동시에 VSwin-T보다 최대 2.9배, ViT-Temporal-Shift 변형보다 2배, UniFormer-B보다 5배 더 빠르게 동작합니다. UCF-101에서 CoDAT-S384는 TokShift 및 LAPS와 대등한 성능을 보이면서 6배 더 빠르고 최대 13배 적은 FLOPs를 필요로 하여, 엣지 IoT 인식 시스템에서의 실시간 행동 인식을 위한 효율성-정확도 균형을 확립합니다. 코드는 https://github.com/novendrastywn/CoDAT 에서 확인할 수 있습니다.