FastBench: 스트리밍 VLM은 고역동적 실제 비디오 스트림을 인지할 수 있는가?
FastBench: Can Streaming VLMs Perceive High-Dynamic Real-World Streams?
한국어 초록
스트리밍 비디오 대규모 언어 모델(VLM)은 지속적인 비디오 이해를 가능하게 하지만, 기존 벤치마크는 저역동적 시나리오에 치중되어 있다. 제한된 컨텍스트 예산 하에서 모델은 시간적 이력, 공간 해상도, 시간적 세분도(temporal granularity) 사이의 균형을 유지해야 하며, 1~2 FPS의 희소 샘플링(sparse sampling)은 빠르게 지나가는 사건을 놓치게 된다. 본 연구에서는 실제 비디오 스트림에서 고역동적 인지 능력을 평가하기 위한 FastBench를 도입한다. 궤적 기반(trajectory-grounded) 파이프라인은 높은 FPS 클립으로부터의 질의응답(QA) 생성, 2 FPS에서 답변 가능한 질문 필터링, SAM3 및 CoTracker3 궤적을 사용한 답변 검증, 그리고 세 차례의 인간 검수를 결합한다. FastBench는 8개 도메인, 6개 역량, 그리고 전방(forward), 즉각(instant), 후방(backward) 시간 범위에 걸쳐 인간이 주석을 단 증거 구간을 포함하는 306개의 QA 쌍을 포함한다. 또한 텍스트 토큰을 통해 입력 프레임 속도를 조절하는 학습(training) 불필요 기준선(baseline)인 ProactiveFrame을 제시한다. 2계층 슬라이딩 윈도우는 최근의 높은 FPS 관측값을 유지하면서 이전 관측값은 희소한 이력으로 다운샘플링한다. 실험 결과 상당한 한계점이 드러났다. 가장 강력한 모델(model)인 Gemini-3.5-Flash조차 50.7%에 불과한 점수를 기록했다. 더 조밀한 샘플링은 Qwen3-VL-8B의 성능을 2 FPS에서의 32.9%에서 24 FPS에서의 44.6%로 향상시키지만, 이력이 압축됨에 따라 이득은 포화된다. ProactiveFrame은 희소 균일 샘플링보다 5.4 및 1.5 퍼센트포인트 높은 성능을 보이지만, 오라클 유도 집중(oracle-guided focusing)보다는 크게 뒤처져 있어 현재 VLM이 스트림만으로 더 미세한 시간적 인지가 필요한 시점을 판단하는 데 어려움을 겪고 있음을 보여준다. FastBench는 고역동적 스트리밍 비디오 이해를 위한 테스트베드를 제공한다. 코드 및 데이터: https://github.com/Ashone3/FastBench.
원문 초록
Streaming Video Large Language Models (VLMs) enable continuous video understanding, yet existing benchmarks focus on low-dynamic scenarios. Under bounded context budgets, models must balance temporal history, spatial resolution, and temporal granularity; sparse sampling at 1--2 FPS misses fast events. We introduce FastBench to evaluate high-dynamic perception in real-world video streams. Its trajectory-grounded pipeline combines QA generation from high-FPS clips, filtering of questions answerable at 2 FPS, answer verification using SAM3 and CoTracker3 trajectories, and three rounds of human inspection. FastBench contains 306 QA pairs across eight domains, six capabilities, and forward, instant, and backward temporal scopes, with human-annotated evidence intervals. We also present ProactiveFrame, a training-free baseline that adjusts incoming frame rates through text tokens. A dual-tier sliding window retains recent high-FPS observations while downsampling older ones into sparse history. Experiments reveal substantial limitations: the strongest model, Gemini-3.5-Flash, scores only 50.7%. Denser sampling improves Qwen3-VL-8B from 32.9% at 2 FPS to 44.6% at 24 FPS, but gains saturate as history is compressed. ProactiveFrame outperforms sparse uniform sampling by 5.4 and 1.5 percentage points, yet remains well below oracle-guided focusing, showing that current VLMs struggle to determine from the stream alone when finer temporal perception is needed. FastBench provides a testbed for high-dynamic streaming video understanding. Code and data: https://github.com/Ashone3/FastBench.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.