arXiv:2610.16118v1 cs.CV

냉장고 속 코끼리: 긴 비디오 이해를 위한 일정한 메모리의 프레임 패킹

Elephant in the Fridge: Constant-Memory Frame Packing for Long Video Understanding

Shuo Gao, Chenhao Zheng, Zhongzheng Ren

제출 2026-10-12

저자 비고

arXiv Comments

NeurIPS 2026 (https://zeld0n.github.io/framepack-U/)

한국어 초록

1시간 길이의 비디오, 스트리밍 피드, 영화 길이의 콘텐츠는 비전-언어 모델(VLM)을 한계 이상으로 몰아붙이고 있습니다. 각 프레임을 시각적 토큰으로 인코딩하는 표준 방식은 비디오 길이에 따라 선형적으로 증가하는 시퀀스를 생성하여 과도한 메모리 소비와 추론(inference) 지연을 유발합니다. 토큰 감소 및 키프레임 선택과 같은 기존 접근법은 토큰 시퀀스를 단축하지만 O(n) 스케일링을 그대로 유지하므로 근본적인 병목 현상을 해결하지 못합니다. 본 논문에서는 임의로 긴 비디오를 일정한 메모리 비용으로 고정된 크기의 시각적 표현으로 압축하는 놀랍도록 단순하며 학습(training)이 필요 없는 프레임 패킹 프레임워크인 FramePack-U를 제안합니다. FramePack-U는 미세조정(fine-tuning)이나 아키텍처 수정이 필요 없으며, 추론 시점에 기성 VLM에 직접 연결하여 사용할 수 있습니다. 생성 연구 분야의 FramePack에서 영감을 받아, 고정된 토큰 예산 하에서 시각적 이해를 위한 콘텐츠 인식 압축 전략을 제안합니다. 구체적으로 FramePack-U는 (1) 텍스트 프롬프트와의 의미론적 유사도를 바탕으로 각 프레임의 점수를 매기고 다양성을 고려한 방식으로 프레임 순위를 정하며, (2) 선택된 프레임을 다양한 해상도로 고정 길이의 컨텍스트 윈도우(context window)에 패킹합니다. 이를 통해 메모리 예산을 지시사항과 관련이 있으면서도 시각적으로 다양한 프레임에 집중시킵니다. 이론적으로 FramePack-U는 고정된 예산 내에 임의로 많은 수의 프레임을 패킹할 수 있지만, 다양한 환경에서 강력하게 일반화되는 경험적 구현 방식을 식별합니다. LongVideoBench, MLVU, Video-MME에 대한 광범위한 실험 결과, FramePack-U는 다양한 모델 제품군, 매개변수(parameter) 규모, 프레임 예산 전반에 걸쳐 전체 해상도 베이스라인 및 기존의 토큰 감소, 키프레임 선택 방법을 일관되게 능가함을 보여줍니다. 특히 128개 프레임 예산을 적용한 Qwen3.5-35B-A3B에서 FramePack-U는 세 가지 벤치마크에 걸쳐 공식 모델 대비 각각 +12.9%, +10.6%, +9.7%의 성능 향상을 달성했습니다.

원문 초록

Hour-long videos, streaming feeds, and movie-length content are pushing vision-language models (VLMs) past their breaking point -- the standard recipe of encoding each frame into visual tokens yields sequences that grow linearly with video length, causing prohibitive memory consumption and inference latency. Existing approaches, such as token reduction and keyframe selection, shorten the token sequence but leave the O(n) scaling intact, failing to resolve the fundamental bottleneck. We propose FramePack-U, a strikingly simple, training-free frame packing framework that compresses arbitrarily long videos into a fixed size visual representation at constant memory cost. FramePack-U requires no fine-tuning or architectural modification -- it plugs directly into off-the-shelf VLMs at inference time. Inspired by FramePack from the generation literature, we propose a content-aware compression strategy for visual understanding under a fixed token budget. Specifically, FramePack-U (1) scores each frame by its semantic similarity to the text prompt and ranks frames in a diversity-driven manner, and (2) packs the selected frames at varying resolutions into a fixed-length context window. This concentrates the memory budget on frames that are both instruction-relevant and visually diverse. While FramePack-U can in theory pack arbitrarily many frames into the fixed budget, we identify an empirical instantiation that generalizes robustly across settings. Extensive experiments on LongVideoBench, MLVU, and Video-MME show that FramePack-U consistently outperforms full-resolution baselines and prior token reduction and keyframe selection methods across diverse model families, parameter scales, and frame budgets. Notably, on Qwen3.5-35B-A3B with a 128-frame budget, FramePack-U yields gains of +12.9\%, +10.6\%, and +9.7\% over the official model on the three benchmarks, respectively.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.16118v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.