arXiv:2608.06691v1 cs.CV

CoDAT: 효율적인 엣지 행동 인식을 위한 저비용 시간적 모델링 기반 협력적 이중 어텐션 트랜스포머

CoDAT: Collaborative Dual-Attention Transformer with Low-Cost Temporal Modeling for Efficient Edge Action Recognition

Novendra Setyawan, Chi-Chia Sun, Mao-Hsiu Hsu, Wen-Kai Kuo, Jing-Ming Guo, Jun-Wei Hsieh

제출 2026-08-07

한국어 초록

사물인터넷(IoT) 엣지 디바이스에서의 실시간 인간 행동 인식은 엄격한 지연 시간, 메모리 및 전력 제약 내에서 풍부한 시공간적 단서를 포착하는 모델을 필요로 합니다. 현재의 3D CNN, 비디오 트랜스포머(video transformer), 시프트 기반 ViT는 높은 정확도를 제공하지만 계산 비용이 높아 엣지 IoT 배치가 어렵습니다. 본 논문에서는 기존의 멀티헤드 어텐션을 경량 이중 분기 모듈로 대체하는 협력적 이중 어텐션 트랜스포머인 CoDAT를 제안합니다. 이 모듈은 국소적 집계를 위한 공간 합성곱 어텐션(Spatial Convolutional Attention, SCA)과 전역적 문맥을 위한 스트라이드 단일 헤드 어텐션(Strided Single-Head Attention, SSHA)으로 구성됩니다. SSHA는 스트라이드 기반 희소 프로젝션을 통해 쿼리(query), 키(key), 밸류(value) 텐서의 공간 해상도와 채널 차원을 함께 압축한 뒤, 크게 절감된 비용으로 결과적인 전역 및 국소 특징을 융합합니다. 프레임 간의 시간적 통신을 가능하게 하기 위해 각 블록에는 매개변수가 없는(parameter-free) TShift 모듈이 임베딩됩니다. Jetson AGX Orin 및 Raspberry Pi 5에서의 광범위한 실험을 통해 CoDAT가 이미지 및 행동 인식 모두에서 에너지-정확도 균형을 달성함을 입증합니다. ImageNet-1K에서 CoDAT-M은 유사한 정확도를 유지하면서 EfficientViT384 및 FastViT-S12보다 2배 빠르게 실행되며, CoDAT-L은 3배 적은 매개변수로 ViT-S와 동등한 성능을 내면서 처리량은 2배 더 높습니다. Kinetics-400 및 MA-52에서 CoDAT는 최첨단 CNN, 트랜스포머, 하이브리드 베이스라인 대비 경쟁력 있는 Top-1 정확도를 달성하는 동시에 VSwin-T보다 최대 2.9배, ViT-Temporal-Shift 변형보다 2배, UniFormer-B보다 5배 더 빠르게 동작합니다. UCF-101에서 CoDAT-S384는 TokShift 및 LAPS와 대등한 성능을 보이면서 6배 더 빠르고 최대 13배 적은 FLOPs를 필요로 하여, 엣지 IoT 인식 시스템에서의 실시간 행동 인식을 위한 효율성-정확도 균형을 확립합니다. 코드는 https://github.com/novendrastywn/CoDAT 에서 확인할 수 있습니다.

원문 초록

Real-time human action recognition on Internet-of-Things (IoT) edge devices requires models that capture rich spatio-temporal cues within strict latency, memory, and power envelopes. Current 3D CNNs, video transformers, and shift-based ViT deliver high accuracy but come at computational costs that preclude edge IoT deployment. This paper proposes CoDAT, a Collaborative Dual-Attention Transformer that replaces conventional multi-head attention with a lightweight dual-branch module: Spatial Convolutional Attention (SCA) for local aggregation and Strided Single-Head Attention (SSHA) for global context. SSHA jointly compresses the spatial resolution and channel dimensions of the query, key, and value tensors via stride-based sparse projection, then fuses the resulting global and local features at a markedly reduced cost. To enable temporal communication across frames, a parameter-free TShift module is embedded in each block. Extensive experiments on Jetson AGX Orin and Raspberry Pi 5 demonstrate that CoDAT achieves an energy-accuracy balance in both image and action recognition. On ImageNet-1K, CoDAT-M runs 2x faster than EfficientViT384 and FastViT-S12 at comparable accuracy, and CoDAT-L matches ViT-S with 3x fewer parameters at 2x higher throughput. On Kinetics-400 and MA-52, CoDAT achieves competitive Top-1 accuracy against state-of-the-art CNN, transformer, and hybrid baselines while running up to 2.9x faster than VSwin-T, 2x faster than ViT-Temporal-Shift variants, and 5x faster than UniFormer-B. On UCF-101, CoDAT-S384 matches TokShift and LAPS while being 6x faster and requiring up to 13x fewer FLOPs, establishing an efficiency-accuracy balance for real-time action recognition in edge IoT perception systems. Code is available at https://github.com/novendrastywn/CoDAT .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.06691v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.