VQ-VAD: 인간 중심 비디오 이상 탐지를 위한 벡터 양자화 모션 표현 학습
VQ-VAD: Vector-quantized Motion Representation Learning for Human-centric Video Anomaly Detection
한국어 초록
비디오 이상 탐지(VAD)는 이상의 희소성과 조명, 시점, 사람의 외형 변화를 포함한 감시 영상의 큰 시각적 변동성으로 인해 본질적으로 어려운 과제입니다. 시각적 노이즈를 완화하고 프라이버시 문제를 해결하기 위해, 최근 연구는 원본 비디오 데이터 대신 움직임 동역학에 집중하는 포즈 기반 VAD로 전환되었습니다. 그러나 기존의 포즈 기반 접근법은 연속적인 잠재 공간에서 인간의 행동을 모델링하므로, 강건한 행동 분석에 필수적인 간결한 모션 패턴을 학습하는 능력이 제한됩니다. 본 논문에서는 이산 모션 표현을 학습하는 새로운 인간 중심 이상 탐지 프레임워크인 벡터 양자화 비디오 이상 탐지(VQ-VAD)를 제안하여 이를 해결합니다. VQ-VAD는 원래 이미지 생성을 위해 개발된 벡터 양자화 생성적 적대 신경망(VQ-GAN)을 키포인트 시퀀스에 적용하도록 변형하고 정상 행동에 대한 모션 코드북을 구축합니다. 정상 모션 시퀀스만으로 학습된 VQ-VAD는 관측된 모션 시퀀스가 학습된 코드북에 매핑될 수 없을 때 발생하는 높은 재구성 오차를 식별하여 이상을 탐지합니다. 저자들은 4개의 이상 탐지 벤치마크를 대상으로 도메인 내(in-domain), 교차 도메인(cross-domain), 교차 데이터셋 일반화를 포함하는 세 가지 상호보완적인 평가 설정에서 광범위한 실험을 수행했습니다. VQ-VAD는 강력한 도메인 내 정확도(HR-SHT [15]에서 81.83%), CMU Panoptic [14]으로부터의 효과적인 교차 도메인 전이(재학습 없이 HR-SHT [15]에서 76.69%), 그리고 경쟁력 있는 교차 데이터셋 강건성을 달성합니다. 본 연구의 코드베이스는 https://github.com/TeCSAR-UNCC/VQ-VAD 에서 확인할 수 있습니다.
원문 초록
Video Anomaly Detection (VAD) is inherently challenging due to the scarcity of anomalies and the large visual variability in surveillance footage, including changes in lighting, viewpoint, and human appearance. To mitigate visual noise and address privacy concerns, recent work has shifted to pose-based VAD, which focuses on motion dynamics rather than raw video data. However, existing pose-based approaches model human behavior in continuous latent spaces, limiting their ability to learn compact motion patterns necessary for robust behavior analysis. We address this by proposing Vector-Quantized Video Anomaly Detection (VQ-VAD), a novel human-centric anomaly detection framework that learns discrete motion representations. VQ-VAD adapts Vector-Quantized GAN (VQ-GAN), originally developed for image generation, to operate on keypoint sequences and construct a motion codebook of normal behavior. Trained exclusively on normal motion sequences, VQ-VAD detects anomalies by identifying high reconstruction errors when an observed motion sequence cannot be mapped to the learned codebook. We conduct extensive experiments across three complementary evaluation settings, including in-domain, cross-domain, and cross-dataset generalization, on four anomaly detection benchmarks. VQ-VAD achieves strong in-domain accuracy (81.83% on HR-SHT [15]), effective cross-domain transfer from CMU Panoptic [14] (76.69% on HR-SHT [15] without retraining), and competitive cross-dataset robustness. The code base for this work is available at https://github.com/TeCSAR-UNCC/VQ-VAD.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.05069v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.