arXiv:2609.10355v1 cs.CV

비디오는 왜 여전히 이렇게 비용이 큰가? 비디오 및 오디오-비주얼 LLM의 추론 효율 메커니즘 서베이

Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs

Killian Steunou, Yannis Tevissen, Mounîm A. El Yacoubi

제출 2026-09-09

한국어 초록

비디오 이해는 비디오 대규모 언어 모델(VideoLLM)을 중심으로 급속히 발전하였다. 이는 비디오 표현과 사전학습된 대규모 언어 모델을 결합하고, 텍스트 프롬프트에 생성을 조건부로 하는 시스템이다. 캡션 생성, 질의응답, 검색, 시간적 그라운딩에서의 우수한 성능은 프레임 수와 컨텍스트 길이에 따라 증가하는 연산 및 메모리 비용을 동반하며, 실시간·모바일·자원 제약 환경에서의 배포를 제한한다. 본 서베이는 시각 및 오디오-비주얼 VideoLLM에 대한 추론 효율성 메커니즘을 다루며, 매개변수 수, 입력당 FLOPs, 지연, 메모리, 또는 시각 및 오디오 토큰 수의 구체적 감소를 보고한 연구를 범위로 한다. 프레임 샘플링, 모달리티 인코딩, 커넥터 수준의 토큰 축소, LLM prefilling 및 decoding에 걸친 병목을 분석한다. 방법을 작용하는 파이프라인 단계별로 정리하며, 2022년 말 이후 개발된 VideoLLM과 현재 파이프라인의 구성 요소로 남아 있는 기존의 프레임 샘플링 및 비전 인코더 메커니즘을 함께 포함한다. 가능한 경우 공유 호스트 모델과 입력 프로토콜 하에서 문헌이 보고한 정확도-비용 비교를 모으고, 이를 이질적인 논문 간 증거와 구별하며, 오디오-비주얼 효율성 및 표준화된 평가의 공백을 식별한다. https://github.com/momentslab/awesome-efficient-videollm 에 저장소를 유지한다.

원문 초록

Video understanding has rapidly evolved toward video large language models (VideoLLMs): systems that couple video representations with pretrained large language models and condition generation on a textual prompt. Their strong performance on captioning, question answering, retrieval and temporal grounding comes at a computation and memory cost that grows with frame count and context length, limiting deployment in real-time, mobile and resource-constrained settings. This survey covers inference-efficiency mechanisms for visual and audiovisual VideoLLMs that report concrete reductions in parameter count, FLOPs per input, latency, memory, or visual and audio token count. We analyze bottlenecks across frame sampling, modality encoding, connector-level token reduction, and LLM prefilling and decoding. We organize methods by the pipeline stage at which they act, covering VideoLLMs developed since late 2022 together with earlier frame-sampling and vision-encoder mechanisms that remain components of current pipelines. We assemble literature-reported accuracy--cost comparisons under shared host models and input protocols wherever available, distinguish them from heterogeneous cross-paper evidence, and identify gaps in audiovisual efficiency and standardized evaluation. We maintain a repository at https://github.com/momentslab/awesome-efficient-videollm.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.10355v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.