arXiv:1902.05872

Street Scene: A new dataset and evaluation protocol for video anomaly detection

Bharathkumar Ramachandra, Michael Jones

제출 2019-02-15

원문 초록

Progress in video anomaly detection research is currently slowed by small datasets that lack a wide variety of activities as well as flawed evaluation criteria. This paper aims to help move this research effort forward by introducing a large and varied new dataset called Street Scene, as well as two new evaluation criteria that provide a better estimate of how an algorithm will perform in practice. In addition to the new dataset and evaluation criteria, we present two variations of a novel baseline video anomaly detection algorithm and show they are much more accurate on Street Scene than two state-of-the-art algorithms from the literature.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01754v1cs.CV공통 태그 Anomaly Detection, Video Anomaly Detection

Cog-VADU: 비디오 이상 행동 탐지 및 이해를 위한 비학습 기반 인지 추론 프레임워크

Cog-VADU: A Training-Free Cognitive Reasoning Framework for Video Anomaly Detection and Understanding

비디오 이상 행동 탐지(VAD)는 비디오 내에서 비정상적인 사건을 시간적으로 특정하는 것을 목표로 합니다. 기존 접근법의 대부분은 데이터셋별 학습과 정제된 주석에 의존하므로 열린 집합(open-set) 시나리오에서의 일반화가 제한적입니다. 대규모 비전-언어 모델(LVLM)에 기반한 최근의 제로샷(zero-shot) 기법들은 이러한 의존성을 완화하지만, 시간적 연속성과 구조화된 추론이 부족한 경우가 많습니다. 본 논문에서는 VAD를 순차적 인지 추론 작업으로 재구성하는 완전한 비학습 기반(training-free) 프레임워크인 Cog-VADU를 제안합니다. Cog-VADU는 비디오 구간에 걸쳐 LVLM을 순환적 추론 체인으로 전개하는 이상 탐지 사고의 연쇄 프롬프팅(CoADTP)을 도입합니다. 시간의 흐름에 따라 구조화된 근거(rationale)를 전파함으로써 모델은 암묵적인 시간적 메모리를 유지하며, 복잡한 이상 행동과 움직임이 큰 정상 활동 간의 견고한 구분을 가능하게 합니다. 신뢰성을 더욱 향상시키기 위해, 텍스트 근거와 시각적 임베딩을 정렬하여 정교하고 안정적인 예측을 위한 의미적 일관성과 시간적 일관성을 강화하는 교차 모달 재순위화 단계를 설계했습니다. 여러 공개 VAD 벤치마크에 대한 광범위한 실험을 통해 Cog-VADU가 경쟁력 있는 제로샷 성능을 달성함을 입증합니다. 또한, 교차 모델 평가에서는 CoADTP가 모델에 구애받지 않는 방식으로 추론 기반 이상 탐지를 일관되게 향상시켜, 실제 응용 분야를 위한 해석 가능하고 일반화 가능한 이상 행동 이해를 제공함을 보여줍니다.

arXiv:2607.10298v1cs.CV공통 태그 Anomaly Detection, Video Anomaly Detection

약지도 비디오 이상 탐지를 위한 구조적 증거 선택

Structured Evidence Selection for Weakly Supervised Video Anomaly Detection

약지도(weakly supervised) 비디오 이상 탐지는 학습 시 비디오 수준의 레이블만을 활용하기 때문에, 복잡한 장면에서 이상 이벤트를 정확히 국소화하기 어렵다. 실제 비디오에서 이상 행동은 외관과 시간적 지속 시간 측면에서 큰 변동성을 보이며, 장면 외관과 행동 역학이 긴밀하게 얽혀 있는 경우가 많다. 그 결과, 기존 모델들은 실제 행동적 이탈보다 장면 관련 통계적 단서에 의존하는 경향이 있어 불안정한 탐지 성능을 초래한다. 이러한 문제를 해결하기 위해, 우리는 이상 탐지를 클립 수준의 시각적 증거에 대한 구조적 추론 과정으로 재정식화하는 구조적 증거 선택 프레임워크(SESAD)를 제안한다. SESAD는 집계된 특징을 이상 점수에 직접 매핑하는 대신, 클립 표현을 의미적으로 구조화된 후보 증거로 재편성하고 장면 및 행동 제약 하에서 컨텍스트 조건부 선택을 수행한다. 이 메커니즘은 이상과 관련된 의미론을 적응적으로 강조하는 동시에 장면 간섭을 억제함으로써, 약지도 환경에서의 의미론적 얽힘을 완화한다. 또한, 임베딩 공간에서 이중 프로토타입 구조를 구성하는 경량 기하학적 판별 모듈을 도입하여 상대적 기하학적 관계를 통해 이상 여부를 결정할 수 있도록 한다. UBnormal, ShanghaiTech, UCF-Crime에 대한 광범위한 실험에서 SESAD는 각각 67.92, 97.99, 88.46 AUC를 달성하며, 높은 계산 효율성과 전반적으로 일관되게 안정적인 이상 판별 성능을 유지함을 보인다.

arXiv:2607.09114v1cs.CV공통 태그 Anomaly Detection, Video Anomaly Detection

이벤트 스트림 기반 멀티모달 비디오 이상 탐지: 벤치마크 데이터셋과 알고리즘

Event Stream based Multi-Modal Video Anomaly Detection: A Benchmark Dataset and Algorithms

비디오 이상 탐지(VAD)는 자동화된 감시에 있어 핵심적인 기술이지만, 가시광선 영상에만 의존할 경우 조명 변화, 빠른 움직임, 복잡한 배경 등 어려운 환경에서 취약하다는 한계가 있다. 이러한 한계를 극복하기 위해, 우리는 생체 영감 기반의 이벤트 카메라로 촬영된 일반 영상과 이벤트 스트림을 함께 활용하는 이벤트 강화 VAD 프레임워크인 EVAD를 제안한다. 이벤트 센서는 높은 시간 해상도로 밝기 변화를 비동기적으로 포착하여 모션 블러 및 극단적인 조명 환경에 강인하며, 영상 기반 시각 정보를 보완하는 동작 현저성 단서를 제공한다. 멀티모달 VAD 연구를 지원하기 위해, 다양한 조명 수준, 동작 패턴, 배경 복잡도 하에서 수집된 63억 개의 이벤트와 376,368개의 비디오 프레임으로 구성된 대규모 가시광-이벤트 벤치마크 데이터셋을 구축함으로써, 이벤트 기반 이상 탐지를 위한 현실적이고 확장 가능한 데이터셋의 공백을 채운다. 이 데이터셋을 기반으로, 이벤트 스트림, 가시광 영상, 텍스트 설명 간의 의미론적 임베딩을 정렬하여 판별력 있는 이벤트 표현을 학습하는 대조적 멀티모달 사전학습 프레임워크를 설계한다. 이후 적응형 융합 모듈이 이벤트 기반 시간적 단서와 영상 기반 공간적 의미론을 동적으로 통합하여 환경 교란에 대한 강인성을 향상시킨다. 벤치마크 및 제안된 TJUTCM Pha 데이터셋에 대한 실험 결과, E-VAD가 기존 방법들을 일관되게 능가함을 보여주며, 실제 환경에서의 VAD를 위한 이벤트 기반 센싱의 효과성을 검증한다.

arXiv:2607.03558v1cs.CV공통 태그 Anomaly Detection, Video Anomaly Detection

잠재 명료성: 비디오 이상 예측을 위한 월드 모델 키네마틱스와 의미론적 다양체의 연결

Latent Clarity: Bridging World-Model Kinematics to Semantic Manifolds for Video Anomaly Anticipation

연속 비디오 이상 탐지는 시공간 특징을 스칼라 점수로 압축하는 반응형 다중 인스턴스 학습(MIL, Multiple Instance Learning)에 의해 지배되고 있다. 우리는 두 모듈로 구성된 연속 의미론적 월드 모델 파이프라인인 PULS(Predictive Unified Latent Space)를 제안한다: 4억 9천만 매개변수의 KSD Bridge(키네마틱-의미론 증류, Kinematic-to-Semantic Distillation)와 1,680만 매개변수의 예측적 상태 예측기(ASP, Anticipatory State Predictor). KSD Bridge는 UCF-Crime의 일부 데이터로 학습되어, V-JEPA 2의 물리적 텐서를 2048차원의 Qwen3-VL-Embedding-2B 텍스트 정렬 초구(hypersphere)로 매핑한다. 이 변환만으로도 MIL이나 계층적 융합 없이 UCF-Crime에서 청크 수준 AUROC 0.8994, 분포 외(out-of-distribution) XD-Violence에서 0.8162를 달성한다. 우리는 잠재 명료성 가설(Latent Clarity Hypothesis)을 도입하고 검증한다: JEPA의 시간적 예측기가 키네마틱스를 보존하면서 우발적(aleatoric) 픽셀 노이즈를 제거하기 때문에, 예측된 미래 표현이 관측된 현재 표현보다 의미론적으로 더 분리 가능하다. ASP는 이러한 예측된 미래 잠재 표현을 더욱 선명하게 하여, 14-way 제로샷 시각 질의응답(VQA) 정확도 평균 44.5%를 달성한다(관측 기준선 대비 +9.6 pp 초과). ASP를 관측 텐서에 적용하면 정확도가 7.3%(무작위 수준)로 떨어지며, 이는 예측과 관측이 서로 다른 하위 다양체(sub-manifold)를 차지함을 증명한다. L1 서프라이즈 게이트를 갖춘 트리플-트랙 리드-타임 프로토콜은 T-0.5s에서 최대 +8.9 pp의 예측적 이점을 산출하여(p < 0.001, N = 1,000 순열), 물리적 예측을 정적 장면 사전 정보(static scene priors)와 분리한다. XD-Violence로의 제로샷 전이는 뉴턴 불변 키네마틱 표현이 분포 외 환경에서도 일반화됨을 확인한다.

arXiv:2607.00622v1cs.CV공통 태그 Anomaly Detection, Video Anomaly Detection

보는 법 배우기: 교차 정책 최적화를 통한 능동적 비디오 이상 이해

Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization

비디오 이상 이해(VAU)는 희소하고 문맥 의존적인 단서에 의존한다. 그러나 기존의 수동적 패러다임은 관측 에일리어싱(observational aliasing) 문제를 겪는데, 이는 정적 샘플링이 의미론적으로 구별되는 이벤트들을 판별하지 못하는 현상이다. 이를 극복하기 위해, 우리는 동적 환경 내에서 비디오 이해를 능동적 순차 의사결정 과정으로 재개념화하는 폐쇄 루프 프레임워크인 $Anom\text{-}\pi$를 제안한다. 인간의 비디오 검토 행동에서 영감을 받아, 이 프레임워크는 내부 인지적 추론과 전략적 증거 수집을 교차 정책으로 통합하며, 로컬 역추적(local backtracking), 시간적 확장(temporal expansion), 세밀한 샘플링(fine-grained sampling)과 같은 시간적 원자 연산자를 활용하여 모델에 지각적 능동성을 부여한다. 비디오 수준의 약한 감독 하에서 이러한 복잡한 상호작용 전략을 학습하기 위해, 우리는 궤적 수준의 정책 정렬을 달성하기 위한 대화형 직접 선호 최적화(Interactive Direct Preference Optimization, iDPO)를 설계하였으며, 이는 작업 성공, 유익한 증거 수집, 상호작용 비용 간의 균형을 맞추는 능동적 증거 조회(Active Evidence Inquiry, AEI) 유틸리티에 의해 안내된다. 이 접근법은 에이전트가 중복 탐험을 억제하면서 가설을 능동적으로 판별하는 법을 학습할 수 있게 한다. 광범위한 실험을 통해 우리의 프레임워크가 단 20억 개의 파라미터만으로도 복잡한 시나리오에서 최첨단 대규모 VAU 모델들을 크게 능가하는 매우 경쟁력 있는 성능을 달성함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.