arXiv:2611.23881v1 cs.CV

NullTok: 학습이 필요 없는 장편 비디오 이해를 위한 경험적 귀무 분포 기반 토큰 선택

NullTok: empirical-null token selection for training-free long video understanding

Zhang Ziyue, Juwei Jian, Baiyang Song, Yunshan Zhong, Jun Peng, Yiyi Zhou, Rongrong Ji

제출 2026-11-19

한국어 초록

장편 비디오 이해는 주로 긴 비디오에 누적되는 방대한 시각 토큰 때문에 기존 멀티모달 대규모 언어 모델(MLLM)에 여전히 어려운 과제이다. 현재 이 문제를 다루는 주된 패러다임은 프레임 선택과 토큰 선택이며, 둘 다 관련 시각 정보를 선택하여 MLLM을 위한 간결한 입력을 구성하는 것을 목표로 한다. 토큰을 가지치기하기 전에 프레임을 선택하는 방식으로 두 패러다임을 결합하는 것이 자연스러운 접근이지만, 잡음이 있는 프레임 수준 관련성 추정은 되돌릴 수 없는 증거 손실을 초래할 수 있다. 본 논문은 질의별 증거의 시공간 분포를 평가하는 관점에서 이 문제를 연구하고, 학습이 필요 없는 새로운 접근법인 NULLTOK을 제안한다. 모든 프레임의 각 패치에 대해, 그룹이 일치하는 64개의 무관한 대조 질의로부터 경험적 귀무 분포를 구성하여 목표 특이적 증거가 없을 때 기대되는 점수를 포착한다. 목표 친화도는 동일 위치의 이러한 기준에 대해 보정되어 우측 꼬리 몬테카를로 p-값이 되며, 이는 조건부 교환 가능성 가정 하에서 이산 초균등이다. 보정된 선별과 높은 재현율의 의미적 보호 장치가 후보 토큰을 만들고, 이는 결정론적 시각 중복 제거와 시공간 예산 공동 할당에 사용된다. NullTok을 검증하기 위해 두 대표적 MLLM에 적용하고 일련의 비디오 벤치마크에서 광범위한 실험을 수행한다. 실험 결과는 제한된 시각 토큰 예산 하에서의 효과를 보여준다. 예를 들어, 자막이나 오디오 없이 풀프레임 등가(FFE) 64개 상한에서, 고정된 LLaVA-Video-7B와 Qwen3-VL-8B 백본을 사용하여 Video-MME에서 각각 65.81%와 68.85%를 달성한다. 이 결과는 두 백본 모두에서 동일 예산 하에 Video-MME에서 평가된 모든 기준선을 능가한다. 코드는 https://github.com/potato-kitty/NullTok 에서 확인할 수 있다.

원문 초록

Long video understanding remains a daunting challenge for existing multimodal large language models (MLLMs), mainly due to the large number of visual tokens accumulated in long videos. Currently, frame selection and token selection are two main paradigms for addressing this issue, both aiming to select relevant visual information to form a compact input for MLLMs. A natural approach combines these two paradigms by selecting frames before pruning tokens, but noisy frame-level relevance estimates can cause irreversible evidence loss. In this paper, we study this problem from the perspective of assessing the spatiotemporal distribution of query-specific evidence and propose a novel and training-free approach termed NULLTOK. For every patch across all frames, we construct an empirical-null distribution from 64 group-matched irrelevant control queries, capturing the scores expected in the absence of target-specific evidence. Target affinities are calibrated against these same-position references into right-tail Monte Carlo p-values, which are discrete super-uniform under a conditional exchangeability assumption. Calibrated screening and a high-recall semantic guard produce candidate tokens for deterministic visual deduplication and joint spatiotemporal budget allocation. To validate NullTok, we apply it to two representative MLLMs and conduct extensive experiments on a set of video benchmarks. The experimental results demonstrate its effectiveness under a bounded visual token budget. For example, it achieves 65.81% and 68.85% on Video-MME using frozen LLaVA-Video-7B and Qwen3-VL-8B backbones, respectively, at a cap of 64 full-frame equivalents (FFE), without subtitles or audio. These results outperform all evaluated baselines on Video-MME under the same budget for both backbones. Code is available at https://github.com/potato-kitty/NullTok.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23881v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.