답변이 다를 때 더 살펴보기: 소형 비전-언어 모델이 다른 답을 낸 문항에 시각 토큰 재배정
Disagree to Prune: Reallocating Visual Tokens Where a Small VLM Dissents
한국어 초록
시각 토큰 가지치기는 토큰 일부만 남겨 대규모 비전-언어 모델(VLM)의 속도를 높인다. 대부분의 기존 접근법은 토큰 순위를 개선한 뒤 모든 질문에 같은 토큰 예산으로 한 번만 답한다. 순위가 정확하면 가지치기가 영향을 주는 질문은 적고, 남은 토큰만으로 계산한 신호로는 제거한 정보를 거의 파악할 수 없다. 성능이 떨어진 질문 대부분에서는 전체 이미지를 받은 소형 VLM이 가지치기한 모델과 다른 답을 냈다. 소형 모델은 빠진 근거를 볼 수 있기 때문이다. PRUDENT는 먼저 약 절반의 토큰 예산으로 답하고, 아낀 토큰을 이용해 답이 다를 때만 두 배의 예산으로 다시 답한다. 다시 답하는 것이 유리한 조건과 소형 VLM이 전체 이미지를 읽어야 하는 이유를 설명한다. 벤치마크 18개에서 평균 시각 토큰 예산이 같을 때 PRUDENT는 기존 가지치기 방법 여덟 개보다 성능이 높았다. 예산이 줄어들수록 격차가 커졌으며, InternVL의 다섯 가지 모델 크기에서 이점이 유지됐다. 다른 두 모델 계열에서도 평균 성능이 가장 높았다. 소형 VLM과 답이 다른 경우는 여덟 방법 모두에서 발생한 가지치기 실패의 대부분을 찾아냈다. 가장 우수한 기존 방법 두 개도 자체 토큰 순위를 유지한 채 답이 다를 때 다시 답하도록 하자 성능이 높아졌다. 다른 검증기를 써도 개선 폭은 비슷했으며, 첫 답변이 손상된 곳에 추가 토큰을 사용할 수 있었다. 토큰의 순위뿐 아니라 가지치기한 답 중 어떤 답을 신뢰할지 판단하는 것도 시각 토큰 가지치기를 개선할 수 있음을 시사한다. 코드와 데이터는 https://github.com/LiZaiyuan0619/PRUDENT 에 공개되어 있다.
원문 초록
Visual token pruning speeds up large vision-language models (VLMs) by keeping only a part of their visual tokens. Most existing methods improve the ranking of the tokens and then answer every question once with the same budget. With strong rankings, pruning hurts only a few questions, and signals computed on the kept tokens see little of what it removed. We find that, on most of these questions, a small VLM given the full image disagrees with the pruned answer, since it still sees the missing evidence. We propose PRUDENT, which first answers with about half the budget and spends the saved tokens on re-answering the disagreeing questions at twice the budget. We show when such re-answering pays and why the small VLM should read the full image. On 18 benchmarks, PRUDENT outperforms eight existing pruning methods at the same average budget of visual tokens. Its lead widens as the budget tightens, and holds across five InternVL sizes. PRUDENT also has the highest average in two more model families. The disagreement of the small VLM flags most pruning failures of all eight methods, and re-answering on it also improves the two strongest with their own rankings. Other checkers give similar gains, and the extra tokens go where the first pass hurts the answer. These results suggest that identifying which pruned answers are trustworthy provides an additional lever for visual token pruning beyond the ranking of tokens. Code and data are available at https://github.com/LiZaiyuan0619/PRUDENT.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22472v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.