arXiv:2610.08936v1 cs.CV

VCR-Bench: 비디오 분류 강건성을 위한 모듈형 오픈소스 벤치마크

VCR-Bench: A Modular Open-Source Benchmark for Video Classification Robustness

Maksim Plinskiy, Aleksandr Gushchin, Sergey Lavrushkin, Dmitriy S. Vatolin, Anastasia Antsiferova

제출 2026-10-06

저자 비고

arXiv Comments

6 pages,1 figure, accepted at ACM MM 2026

한국어 초록

이미지 분류의 강건성(robustness)에는 여러 벤치마크가 존재하지만, 비디오 분야에는 이에 상응하는 벤치마크가 부재합니다. 비디오 분류에서는 시간적 차원(temporal dimension)이 적대적 공격(adversarial attack), 방어, 전처리에 추가적인 자유도를 부여합니다. 또한 시간적 샘플링, 섭동 예산(perturbation budget), 지표 집계 방식 등은 이미지 환경과 직접적으로 대응되지 않는 방식으로 상호작용합니다. 따라서 비디오 분류기의 강건성은 파편화되고 상호 호환되지 않는 구현체 전반에 걸쳐 연구되어 왔으며, 이로 인해 보고된 수치를 재현하고 분석하기 어려웠습니다. 이에 본 논문에서는 비디오 로딩, 분류기 래퍼, 적대적 공격 및 방어, 인지적 지표, 구성 프리셋, 결과 로깅을 표준화하는 모듈형 오픈소스 벤치마크 프레임워크인 VCR-Bench를 소개합니다. VCR-Bench는 현재 공통 평가 프로토콜 하에 30개의 비디오 분류 모델, 14개의 적대적 공격, 10개의 방어 래퍼를 통합하고 있습니다. 저자들은 Kinetics-400 서브셋에서 대표적인 비디오 분류기, 공격 및 방어를 평가하여 클린 정확도(clean accuracy), 공격 성공률(attack success rate), 인지적 품질, 실행 시간, 메모리 사용량을 보고합니다. VCR-Bench는 문서화된 설치 가이드, 재현 가능한 실행 프리셋, 컴포넌트 확장 인터페이스, 보고된 결과를 재현하기 위한 스크립트와 함께 https://github.com/msu-video-group/vcr-bench 에 공개되어 있습니다.

원문 초록

Robustness of image classification has several benchmarks, but their video counterparts are absent. In video classification temporal dimension introduces additional degrees of freedom for adversarial attacks, defenses, and preprocessing. Temporal sampling, perturbation budgets, and metric aggregation also interact in ways with no direct analogue in the image setting. Therefore, robustness for video classifiers is studied across scattered, incompatible implementations, making reported numbers hard to reproduce and analyze. We introduce VCR-Bench, a modular open-source benchmark framework that standardizes video loading, wrappers for classifiers, adversarial attacks and defenses, perceptual metrics, configuration presets, and result logging. VCR-Bench currently integrates 30 video classification models, 14 adversarial attacks, and 10 defense wrappers under a common evaluation protocol. We evaluate representative video classifiers, attacks, and defenses on Kinetics-400 subset, reporting clean accuracy, attack success rate, perceptual quality, runtime, and memory usage. VCR-Bench is released with documented installation, reproducible run presets, component-extension interfaces, and scripts for reproducing the reported results at https://github.com/msu-video-group/vcr-bench.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08936v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.