arXiv:2611.24431v1 cs.CV

작은 모델이 먼저 읽게 하자: 긴 이미지-텍스트 교차 입력을 위한 더 빠른 프리필

Let a Small Model Read First: Faster Prefill for Long Interleaved Image-Text Inputs

Xiaolin Lin, Kai-Chiang Wu, Bing Li, Grace Li Zhang

제출 2026-11-19

한국어 초록

비전-언어 모델(VLM)은 여러 쪽의 문서나 수백 장의 이미지 모음과 같은 긴 교차 입력에 대한 질문에 답할 수 있으나, 시작이 느리다. 약 100K 토큰의 입력에서는 프리필이 첫 출력 토큰까지의 대기 시간 대부분을 차지한다. 일반적인 접근법은 대상 모델 자체, 또는 먼저 답을 작성하는 동일 계열의 소형 모델로 입력의 토큰에 점수를 매겨 입력을 가지치기하는 것이다. 그러나 이러한 점수 산정이 가지치기로 절약되는 시간의 상당 부분을 소모한다. 본 연구에서는 질문에 대한 근거가 이미지나 문단과 같은 소수의 전체 단위에 존재하며, 소형 하이브리드 모델이 이미지 해상도를 절반으로 낮춘 경우에도 초기 층의 어텐션 헤드 하나로 이를 찾아낸다는 점을 발견하였다. 이러한 발견에 기반하여 SkimPrefill을 제안한다. SkimPrefill은 소형 하이브리드 모델이 이미지를 절반 해상도로 하여 해당 초기 층까지 전체 입력을 먼저 읽게 한다. 소형 하이브리드 모델(Qwen3.5-0.8B)의 대부분의 층은 선형 시간에 동작하므로 이 과정은 짧다. 이후 SkimPrefill은 그 헤드로 모든 단위의 순위를 매기고, 상위 단위들을 일반적인 더 짧은 프롬프트로 대상 모델에 제공한다. 학습되지 않은 하나의 선택기가 서로 다른 모델 계열의 대상 모델에 두루 사용된다. 5가지 과제 유형의 19개 데이터셋으로 구성된 128K 토큰 규모의 MMLongBench에서 수행한 광범위한 실험은 SkimPrefill의 효과를 보여 준다. 입력 토큰의 10%를 유지했을 때, SkimPrefill은 평균 정확도를 유지하면서 Qwen3.5-9B, Gemma-4-12B, Qwen3-VL-32B의 프리필을 각각 3.7배, 11.6배, 8.2배 가속한다.

원문 초록

Vision-language models (VLMs) can answer questions about long interleaved inputs, such as documents of many pages and collections of hundreds of images, but they are slow to start: on inputs of about 100K tokens, the prefill takes most of the wait for the first output token. A common approach prunes the input by scoring its tokens with the target model itself or with a small model of the same family that first writes an answer. However, this scoring takes much of the time that pruning saves. We find that the evidence for a question lies in a few whole units (images or paragraphs), and that a small hybrid model finds them with one attention head of an early layer, even at half image resolution. Based on these findings, we propose SkimPrefill, which lets the small hybrid model read the whole input first, up to that early layer, with images at half resolution. Most layers of the small hybrid model (Qwen3.5-0.8B) run in linear time, so this pass is short. SkimPrefill then ranks every unit with that head and gives the target the top units as an ordinary shorter prompt. One untrained selector serves targets of different model families. Extensive experiments on MMLongBench at 128K tokens, with 19 datasets of five task types, show the effectiveness of SkimPrefill. With 10% of the input tokens kept, SkimPrefill speeds up the prefill of Qwen3.5-9B, Gemma-4-12B and Qwen3-VL-32B by 3.7 times, 11.6 time and 8.2 times while maintaining their average accuracy.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24431v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.