인간은 시각적 장면을 묘사할 때 전체 이미지를 균일하게 처리하지 않고, 의도한 설명과 관련된 영역을 선택적으로 응시합니다. 반면, 현재의 멀티모달 대규모 언어 모델(MLLM)은 모든 시각적 토큰에 어텐션(attention)을 적용하므로 집중도가 분산되고 불필요한 계산 오버헤드가 발생합니다. 기존의 효율화 기법들은 주로 생성 전에 시각 정보를 압축하거나 폐기하므로, 이후의 예측에 필요한 세부 정보를 잃을 위험이 있습니다. 본 연구에서는 MLLM이 각 생성 단계의 요구에 따라 시각적 영역을 선택할 수 있도록 하는 메커니즘인 Gaze Attention을 소개합니다. Gaze Attention은 시각 토큰들을 공간적 영역으로 그룹화하고 현재 예측과 관련된 영역을 선택함으로써, 관련 시각 콘텐츠에 집중하는 동시에 어텐션 연산을 줄입니다. 또한 이미지나 비디오 프레임을 요약하는 학습 가능한 컨텍스트 토큰을 도입하여, 선택적 어텐션 환경에서도 전역적 맥락을 보존합니다. 13개의 이미지 및 6개의 비디오 이해 벤치마크에 대한 실험 결과, Gaze Attention은 최대 90% 더 적은 시각 KV 엔트리를 사용하면서도 조밀 어텐션(dense-attention) 베이스라인과 대등하거나 이를 능가하는 성능을 보였습니다. 아울러 동일한 시각 KV 예산 조건에서 KV 캐시 축출(eviction) 베이스라인보다 더 높은 평균 성능을 달성했습니다.
비주얼 토큰 가지치기(pruning)는 대규모 비전-언어 모델(LVLM)의 추론(inference) 비용을 줄이는 유망한 접근법이지만, 공격적인 토큰(token) 감축은 종종 심각한 성능 저하를 초래합니다. 본 연구에서는 이러한 성능 저하의 배후에 있는 세 가지 핵심 요인으로 텍스트 기반 선택 바이어스(bias), 폐기된 토큰으로 인한 정보 손실(loss), 그리고 시퀀스 압축으로 인한 위치 왜곡을 규명합니다. 이러한 관찰을 바탕으로, 시각 정보 전용 다양성 선택, 유사도 기반 토큰 재활용, 위치 보존 복원으로 구성된 학습(training) 없는 LLM 이전 가지치기 프레임워크인 VPRune을 제안합니다. 여러 비전-언어 벤치마크에 걸친 FastVLM-1.5B 실험은 VPRune이 특히 공격적인 압축 환경에서 두드러진 이점을 보이며 우수한 정확도-압축 트레이드오프를 달성함을 입증합니다. 나아가 엣지 디바이스 평가를 통해 VPRune이 우수한 태스크 성능을 유지하면서 종단간(end-to-end) 추론 지연 시간을 효과적으로 줄여, 자원 제약이 있는 환경에서의 LVLM 배포에 대한 실용성을 입증합니다.
본 논문에서는 시각 토큰 가지치기(pruning)가 다중모달 대규모 언어 모델(MLLM)의 견고성을 향상시키며, 탈옥(jailbreak) 공격 및 환각(hallucination)과 같은 취약점을 완화한다는 것을 최초로 보여준다. 시각과 언어 모달리티가 완벽하게 정렬(alignment)될 수 없다는 점을 고려할 때, 정렬되지 않은 시각 토큰은 분포 밖(OOD) 입력으로 작용하여 예측 불가능한 출력을 유발하고 잠재적 취약점을 도입할 수 있다. 이러한 통찰을 바탕으로, 견고한 가지치기 레이어에서 OOD 시각 토큰을 줄임으로써 탈옥 및 환각에 대한 모델 견고성을 향상시키는 것을 목표로 하며, 부수적 이점으로 추론 비용도 절감한다. 구체적으로, 각 시각 토큰과 언어 특징 공간 사이의 거리를 측정한다. 그런 다음 거리가 큰 시각 토큰을 OOD 토큰으로 식별하여 반복적으로 가지치기할 수 있다. 방법의 효과를 입증하기 위해, 일곱 가지 다양한 인기 벤치마크에서 이를 평가한다. 특히, 본 방법은 탈옥 공격 방어에서 평균 13.29%의 개선을 달성하고, 환각 완화에서 꾸준히 경쟁력 있는 성능을 보이며, MME와 같은 일반 데이터셋에서도 강력한 결과를 유지한다.
대규모 비전-언어 모델은 고해상도 입력이 수천 개의 시각 토큰을 도입하고, 이 중 많은 토큰이 주어진 쿼리에 대해 중복되기 때문에 상당한 추론 비용이 발생한다. 기존 가지치기 방법은 종종 쿼리 관련성과 토큰 다양성을 결합하지만, 이러한 목표는 공격적인 압축 하에서 충돌할 수 있다. 관련성 중심 선택은 예산을 상관된 지역 증거에 과도하게 집중시킬 수 있는 반면, 다양성 중심 선택은 필수 토큰을 억제하거나 구별되지만 정보가 없는 영역을 보존할 수 있다. 우리는 먼저 보호된 관련성 앵커를 구성한 다음 상보적인 시각 문맥으로 이를 확장하는 학습 없는 프레임워크인 AnchorPrune을 제안한다. AnchorPrune은 관련성 순위가 매겨진 토큰의 참신성 프로파일로부터 앵커 크기를 적응적으로 결정하여 쿼리에 중요한 증거의 소규모 집합을 보존하고, 앵커 대비 정보가 있으며 비중복적인 문맥을 회복하기 위해 중요도 가중 참신성을 통해 나머지 예산을 할당한다. 이 순차적 설계는 전체적인 시각적 커버리지를 개선하면서 문맥 확장이 필수적인 쿼리 단서를 대체하는 것을 방지한다. AnchorPrune은 경량이며 아키텍처를 인식하고, 재학습이나 모델 수정이 필요하지 않다. 이미지 및 비디오 비전-언어 모델과 벤치마크 전반에 걸쳐, 특히 심각한 압축 하에서 학습 없는 기준선 대비 정확도-효율성 트레이드오프를 일관되게 개선한다. LLaVA-NeXT-7B에서 AnchorPrune은 2,880개의 시각 토큰 중 160개만 사용하여 전체 토큰 성능의 97.6%를 보존한다. 이 결과는 관련성-앵커 기반 문맥 확장이 효율적인 멀티모달 추론을 위한 효과적인 원칙임을 입증한다. 코드는 https://github.com/MULTI-cau/AnchorPrune 에서 이용할 수 있다.
다중모달 대규모 언어 모델(MLLM)의 시각 토큰 과다로 인한 추론 비용 문제를 해결하기 위해, 시각 토큰 가지치기를 토큰 최적 보존 집합(TOPS) 구성으로 첫 원칙 관점에서 정식화하고 작업 관련성·정보 포괄성·의미적 다양성을 반영한 학습 없는 TOPS 가지치기 모듈을 제안한다. 7개 MLLM 백본과 14개 벤치마크에서 기존 방법을 능가하며, LLaVA-NeXT에서는 시각 토큰 77.8%를 제거해도 7B·13B 모델 성능을 각각 100.0%·100.6% 유지했다.