ERASE: 적응형 2단계 토큰 가지치기를 통한 중복 시각 토큰 제거
ERASE: Eliminating Redundant Visual Tokens via Adaptive Two-Stage Token Pruning
최근 비전-언어 모델(VLM)의 발전으로 대규모 언어 모델(LLM)이 고해상도 이미지를 처리할 수 있게 되면서 실제 환경에서의 멀티모달 이해 능력이 크게 향상되었습니다. 그러나 이러한 기능은 수많은 비전 토큰을 발생시켜 상당한 연산 오버헤드를 초래합니다. 이 문제를 완화하기 위해 다양한 비전 토큰 압축 방법이 제안되었습니다. 기존 방법들은 대개 학습된 표현이나 고정된 가지치기 일정을 사용하여 다양한 원인의 시각적 중복성을 추정합니다. 본 논문에서는 이미지 수준의 중복성 제거와 지시문(instruction) 의존적 토큰 가지치기를 분리하는 적응형 2단계 프레임워크인 ERASE를 제안합니다. 1단계는 경량의 원본 이미지 통계로부터 이미지 의존적 토큰 보존율을 도출하며, 2단계는 디코더 레이어 전반에서 지시문과 무관한 토큰을 점진적으로 제거합니다. 실험 결과 정확도를 유지하면서도 상당한 토큰 감축을 달성함을 입증했습니다. Qwen2.5-VL-7B에서 ERASE는 25%의 토큰 보존율에서도 원본 모델 정확도의 95.70%를 유지합니다. 코드는 https://github.com/Tuna-Luna/ERASE 에서 확인할 수 있습니다.