LearnPruner: 비전-언어 모델에서의 어텐션 기반 토큰 가지치기 재고
LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models
한국어 초록
비전-언어(Vision-Language) 모델(VLM)은 최근 시각적 이해와 추론에서 뛰어난 능력을 보여주고 있지만, 긴 시각 시퀀스 입력으로 인해 상당한 연산 부담을 초래한다. 최근 연구들은 중요하지 않은 시각 토큰을 가지치기하여 모델 성능을 유지하면서도 상당한 연산량 감소를 달성함으로써 이 문제를 해결하고자 한다. 토큰 가지치기의 핵심은 토큰 중요도를 판단하는 것이며, 현재의 접근법들은 주로 비전 인코더(vision encoder) 또는 대규모 언어 모델(LLM)의 어텐션 점수에 의존한다. 본 논문에서는 비전 인코더와 LLM 양쪽에서 어텐션 메커니즘의 효과를 분석한다. 그 결과, 비전 인코더는 어텐션 싱크(attention sink)를 겪어 정보가 풍부한 전경(foreground) 영역에 대한 초점이 저하되는 반면, LLM의 경우 기존 연구들이 토큰 위치에 대한 어텐션 바이어스를 확인했음에도 텍스트-투-비전(text-to-vision) 어텐션은 이러한 바이어스에 대한 저항성을 보이며 중간 층(middle layer)에서 효과적인 가지치기 가이던스를 제공할 수 있음을 발견했다. 이러한 관찰을 바탕으로, 우리는 비전 인코더 이후 학습 가능한 가지치기 모듈을 통해 불필요한 시각 토큰을 먼저 제거하고, 이후 LLM의 중간 층에서 과제와 관련된 토큰만을 유지하는 2단계 토큰 가지치기 프레임워크인 LearnPruner를 제안한다. 실험 결과, LearnPruner는 시각 토큰의 5.5%만을 사용하면서도 원래 성능의 약 95%를 유지할 수 있으며, 3.2배의 추론 가속을 달성하여 우수한 정확도-효율성 트레이드오프를 보여준다.
원문 초록
Vision-Language Models (VLMs) have recently demonstrated remarkable capabilities in visual understanding and reasoning, but they also impose significant computational burdens due to long visual sequence inputs. Recent works address this issue by pruning unimportant visual tokens, achieving substantial computational reduction while maintaining model performance. The core of token pruning lies in determining token importance, with current approaches primarily relying on attention scores from vision encoders or Large Language Models (LLMs). In this paper, we analyze the effectiveness of attention mechanisms in both vision encoders and LLMs. We find that vision encoders suffer from attention sink, leading to poor focus on informative foreground regions, while in LLMs, although prior studies have identified attention bias toward token positions, text-to-vision attention demonstrates resistance to this bias and enables effective pruning guidance in middle layers. Based on these observations, we propose LearnPruner, a two-stage token pruning framework that first removes redundant vision tokens via a learnable pruning module after the vision encoder, then retains only task-relevant tokens in the LLM's middle layer. Experimental results show that our LearnPruner can preserve approximately 95% of the original performance while using only 5.5% of vision tokens, and achieve 3.2$\times$ inference acceleration, demonstrating a superior accuracy-efficiency trade-off.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기
SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models
전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.
AudioTETRIS: 효율적인 오디오 LLM을 위한 전이적 중요도 신호 기반 토큰 제거
AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
대규모 오디오 언어 모델(LALM)은 음성-텍스트 작업에서 우수한 성능을 달성하지만, 표준 오디오 인코더는 짧은 오디오 클립에 대해서도 수백 개의 토큰을 생성합니다. 셀프 어텐션(self-attention)이 시퀀스 길이에 대해 제곱으로 스케일링되기 때문에, 이는 추론(inference) 시점의 연산량을 크게 증가시킵니다. 현재의 학습이 필요 없는(training-free) 토큰 압축 방법들은 오직 거친(coarse) 어텐션 또는 특징(feature) 유사도에만 기반하여 토큰을 가지치기(pruning)하거나 병합합니다. 그러나 오디오 토큰을 일반적이고 등방성(isotropic)인 특징으로 취급하는 것은 스펙트럼 전이(spectral transition)를 평탄화시켜, 음성 디코딩에 필수적인 세밀한 음소 전이(phonetic transition)를 손상시킵니다. 반면, 음성 신호는 정보 밀도가 음향 전이(acoustic transition) 지점에서 정점을 이루는 매우 구조화된 시간적 패턴을 보입니다. 우리는 어텐션 기반 압축을 적용하기 전에 오디오 인코더의 표현 기하구조(representation geometry)를 토큰 중요도에 대한 음향적 사전 정보(prior)로 활용하는, 학습이 필요 없는 2단계 프레임워크인 AudioTETRIS를 제안합니다. AudioTETRIS는 인코딩 단계 이후에 인코더 구조를 버리는 대신, 이 사전 정보를 LLM 디코더로 직접 전파하여 토큰별 융합 점수(fused score)를 계산합니다. 이 점수는 추가적인 학습이나 보조 모델 없이 디코더 레이어 전반에 걸쳐 점진적인 top-$k$ 토큰 선택을 주도합니다. Qwen2-Audio-7B, Phi-4-Multimodal, Audio Flamingo 3에서 평가한 결과, AudioTETRIS는 오디오 토큰의 25%만을 사용하여 여러 음성 작업에서 거의 압축되지 않은 수준의 성능을 유지하며, 중간 수준의 압축률에서 전체 토큰 정확도와 동등하거나 이를 상회하고, 기존의 학습이 필요 없는 베이스라인들을 일관되게 능가합니다.
패칭에서 가지치기로: 비전-언어 모델에서의 시각적 연산 가지치기
From Patching to Pruning Visual Computation in Vision Language Models
비전-언어 모델(VLM)은 여러 깊이에서 토큰별 시각 연산이 불필요한 경우에도 모든 시각 토큰이 모든 디코더 층의 어텐션 및 MLP 프로젝션을 거쳐 처리되기 때문에 상당한 추론 비용을 발생시킵니다. 본 논문에서는 기계론적 해석가능성(Mechanistic Interpretability)에서 영감을 받아, 활성화 패칭(activation patching)을 진단 도구에서 추론 시점의 연산 우회 방식으로 전환하는 학습 불필요(training-free) 프레임워크인 Patch-to-Prune(P2P)을 제안합니다. P2P는 검증 기반 전방향 및 역방향 층 스윕을 수행하여, 사용자가 지정한 정확도 허용 범위 내에서 시각 토큰 프로젝션 출력을 고정된 중립 대리 활성화 벡터로 대체할 수 있는 디코더 영역을 식별합니다. 기존의 토큰 가지치기 방법과 달리, P2P는 시퀀스 길이, 토큰 순서, 위치 정보, 어텐션 마스크 및 잔차 경로를 보존하므로 토큰을 제거하거나 사전학습된 모델 가중치를 수정하지 않고도 연산을 가지치기합니다. 우리는 상호 배타적인 캘리브레이션, 검증 및 테스트 분할을 사용하여 7개의 멀티모달 벤치마크에 걸쳐 Qwen2.5-VL 및 LLaVA 계열의 4개 VLM에서 P2P를 평가합니다. 3% 허용 오차에서 P2P는 고밀도(dense) 정확도의 약 94%를 유지하면서 FLOP을 55% 줄입니다. 이러한 효율성 향상 외에도, 층별 분석을 통해 VLM의 시각적 처리가 디코더 깊이에 걸쳐 불균일하게 분포되어 있음을 시사합니다. 초기 및 후기 층은 토큰별 시각 연산을 거의 필요로 하지 않는 반면, 중간 층은 대부분의 과제 관련 시각적 통합을 수행하여 이후의 추론이 공유된 잔차 및 텍스트 표현에 이미 임베딩된 시각 정보에 크게 의존할 수 있도록 합니다. 이는 P2P를 효율적인 추론 프레임워크인 동시에 VLM의 시각 정보 처리를 들여다보는 인과적 렌즈로 만들어 줍니다.
질의 독립적 가변 비트율 시각 토큰 코딩
Query Independent Variable Rate Visual Token Coding
비전-언어 모델(VLM)을 위한 시각 토큰 압축은 거의 전적으로 어떤 토큰을 유지하고 나머지를 폐기할지 결정하는 선택 문제로 다루어집니다. 가장 효과적인 기준은 언어 모델이 토큰에 부여하는 어텐션에 따라 토큰의 순위를 매기는 것인데, 이는 순위가 주어지는 질문의 함수가 되도록 만듭니다. 이러한 특성은 단일 턴 벤치마크에서는 드러나지 않지만, 대화의 여러 턴에 걸쳐 캐싱되거나 기기와 서버 간에 전송될 때처럼 압축된 표현이 한 번 기록되고 여러 번 읽힐 때 결정적인 영향을 미칩니다. 본 연구에서는 그 대신 고전적인 변환 코딩 툴킷의 다른 절반을 취하여, 모든 토큰을 유지하되 전송률(비트율)을 변화시킵니다. 변환 코드는 각 토큰의 측정된 왜곡-전송률 곡선을 드러내며, 고정된 비트 예산은 해당 곡선에 대한 정확한 정수율-왜곡 최적화를 통해 토큰 전반에 분배됩니다. 파이프라인에 텍스트가 입력되지 않으므로 하나의 압축된 표현으로 모든 질의를 처리할 수 있습니다. 동일한 비트 예산 하에 두 데이터셋과 두 가지 용량에서 평가했을 때, 균일 전송률 코딩, 닫힌 형태의 워터 필링 및 왜곡 순위 기반 가지치기보다 모델의 출력 분포와 답변을 더 우수하게 보존합니다. 또한 가지치기가 맞춰진 질문에 대해서는 어텐션 순위 기반 가지치기와 동등한 성능을 보이며, 동일한 이미지에 대해 압축된 이미지가 다른 질문에 답해야 하는 상황에서는 이를 능가합니다.
VETO: 비전-언어 모델을 위한 비디오 효율적 토큰 최적화
VETO: Video Efficient Token Optimization for Vision Language Models
비전-언어 모델(VLM)로 긴 비디오를 처리하는 것은 시각적 토큰(token)의 이차(quadratic) 비용으로 인해 병목 현상이 발생하여, 장시간 추론(inference)의 비용이 매우 높아집니다. 단일 축 압축 방식들이 이를 완화하긴 하지만, 공간적 및 시간적 중복성을 독립적으로 다루기 때문에 뚜렷한 효율성의 한계에 부딪힙니다. 본 논문에서는 이중 축 압축을 통해 이러한 병목 현상을 해소하는 학습(training) 선택형 플러그인인 VETO(비전-언어 모델을 위한 비디오 효율적 토큰 최적화)를 제시합니다: (i) 최적 수송(optimal-transport)에서 영감을 얻은 매칭을 통해 각 프레임 내에서 의미론적으로 유사한 토큰들을 병합하는 프레임 내(intra-frame) 압축기, 그리고 (ii) 시간적으로 중복되는 프레임을 식별하여 병합하는 프레임 간(inter-frame) 압축기입니다. 핵심적인 설계 통찰은 계층적 순서화입니다. 공간적 차원을 먼저 압축함으로써 VETO는 후속되는 전역적 시간 매칭 비용을 대폭 절감하여 단일 축 접근 방식의 효율성 한계를 우회하며, 최신 완전 융합 어텐션(fully-fused attention) 인프라에서 이러한 이점이 더욱 커집니다. 실증적으로 VETO는 정확도를 유지하거나 향상시키면서 최대 45% 더 빠른 추론을 달성합니다(예: LLaVA-OneVision-7B). 극단적인 토큰 결핍 상태(10% 예산)에서 VETO는 55.7%의 정확도를 기록하여 VFlowOpt(54.9%), VisionZip(52.6%), FastV(47.9%)보다 뛰어난 성능을 보입니다. 또한 LLaVA-OneVision, InternVL-2.5, LongVA 전반에 걸친 보편적 적용 가능성을 입증하며, 모든 경우에서 제로샷(zero-shot) 정확도가 유지되거나 향상됨을 확인했습니다.
비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭
Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces
비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to ICLR 2026