arXiv:2603.05663v4 cs.CV

Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding

Jiaqi Li, Shuntian Zheng, Yixian Shen, Jia-Hong Huang, Xiaoman Lu, Minzhe Ni, Yu Guan

제출 2026-03-05

원문 초록

Video Temporal Grounding (VTG) localizes the temporal boundaries of query-relevant moments in long, untrimmed videos, making video-language-model prohibitively expensive. While recent training-free token pruning has shown success in video question answering, naively applying these objectives to VTG causes drastic degradation, as VTG crucially depends on boundary-sensitive evidence and cross-frame reasoning chains. We therefore identify two VTG-specific pruning principles: evidence retention, which keeps query-critical patches especially around event boundaries, and connectivity strength, which preserves cross-frame connectivity for long-range evidence aggregation. Building on these insights, we propose SemVID, a training-free pruning framework that constructs a compact yet coherent token subset with complementary semantic roles. SemVID first allocates per-frame budgets by balancing query relevance and inter-frame variation to avoid over-pruned segments, and then selects three types of tokens: object tokens for diverse query-critical evidence, motion tokens to capture meaningful transitions and serve as cross-frame relays, and context tokens for scene continuity. Extensive experiments show that SemVID achieves a strong accuracy-efficiency trade-off, retaining up to 95.4% mIoU with only 12.5% visual tokens and delivering up to a 5.8x prefill speedup, consistently outperforming prior methods under the same budgets. Our code is available at https://github.com/JiaqiLi404/SemVID

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.05663v4제출 시각 미확인
  2. arXiv:2603.05663v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13600v1cs.SD공통 태그 Computational Efficiency, Model Compression, token pruning

AudioTETRIS: 효율적인 오디오 LLM을 위한 전이적 중요도 신호 기반 토큰 제거

AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs

대규모 오디오 언어 모델(LALM)은 음성-텍스트 작업에서 우수한 성능을 달성하지만, 표준 오디오 인코더는 짧은 오디오 클립에 대해서도 수백 개의 토큰을 생성합니다. 셀프 어텐션(self-attention)이 시퀀스 길이에 대해 제곱으로 스케일링되기 때문에, 이는 추론(inference) 시점의 연산량을 크게 증가시킵니다. 현재의 학습이 필요 없는(training-free) 토큰 압축 방법들은 오직 거친(coarse) 어텐션 또는 특징(feature) 유사도에만 기반하여 토큰을 가지치기(pruning)하거나 병합합니다. 그러나 오디오 토큰을 일반적이고 등방성(isotropic)인 특징으로 취급하는 것은 스펙트럼 전이(spectral transition)를 평탄화시켜, 음성 디코딩에 필수적인 세밀한 음소 전이(phonetic transition)를 손상시킵니다. 반면, 음성 신호는 정보 밀도가 음향 전이(acoustic transition) 지점에서 정점을 이루는 매우 구조화된 시간적 패턴을 보입니다. 우리는 어텐션 기반 압축을 적용하기 전에 오디오 인코더의 표현 기하구조(representation geometry)를 토큰 중요도에 대한 음향적 사전 정보(prior)로 활용하는, 학습이 필요 없는 2단계 프레임워크인 AudioTETRIS를 제안합니다. AudioTETRIS는 인코딩 단계 이후에 인코더 구조를 버리는 대신, 이 사전 정보를 LLM 디코더로 직접 전파하여 토큰별 융합 점수(fused score)를 계산합니다. 이 점수는 추가적인 학습이나 보조 모델 없이 디코더 레이어 전반에 걸쳐 점진적인 top-$k$ 토큰 선택을 주도합니다. Qwen2-Audio-7B, Phi-4-Multimodal, Audio Flamingo 3에서 평가한 결과, AudioTETRIS는 오디오 토큰의 25%만을 사용하여 여러 음성 작업에서 거의 압축되지 않은 수준의 성능을 유지하며, 중간 수준의 압축률에서 전체 토큰 정확도와 동등하거나 이를 상회하고, 기존의 학습이 필요 없는 베이스라인들을 일관되게 능가합니다.

arXiv:2610.03389v1cs.CV공통 태그 Computational Efficiency, Model Compression, token pruning

패칭에서 가지치기로: 비전-언어 모델에서의 시각적 연산 가지치기

From Patching to Pruning Visual Computation in Vision Language Models

비전-언어 모델(VLM)은 여러 깊이에서 토큰별 시각 연산이 불필요한 경우에도 모든 시각 토큰이 모든 디코더 층의 어텐션 및 MLP 프로젝션을 거쳐 처리되기 때문에 상당한 추론 비용을 발생시킵니다. 본 논문에서는 기계론적 해석가능성(Mechanistic Interpretability)에서 영감을 받아, 활성화 패칭(activation patching)을 진단 도구에서 추론 시점의 연산 우회 방식으로 전환하는 학습 불필요(training-free) 프레임워크인 Patch-to-Prune(P2P)을 제안합니다. P2P는 검증 기반 전방향 및 역방향 층 스윕을 수행하여, 사용자가 지정한 정확도 허용 범위 내에서 시각 토큰 프로젝션 출력을 고정된 중립 대리 활성화 벡터로 대체할 수 있는 디코더 영역을 식별합니다. 기존의 토큰 가지치기 방법과 달리, P2P는 시퀀스 길이, 토큰 순서, 위치 정보, 어텐션 마스크 및 잔차 경로를 보존하므로 토큰을 제거하거나 사전학습된 모델 가중치를 수정하지 않고도 연산을 가지치기합니다. 우리는 상호 배타적인 캘리브레이션, 검증 및 테스트 분할을 사용하여 7개의 멀티모달 벤치마크에 걸쳐 Qwen2.5-VL 및 LLaVA 계열의 4개 VLM에서 P2P를 평가합니다. 3% 허용 오차에서 P2P는 고밀도(dense) 정확도의 약 94%를 유지하면서 FLOP을 55% 줄입니다. 이러한 효율성 향상 외에도, 층별 분석을 통해 VLM의 시각적 처리가 디코더 깊이에 걸쳐 불균일하게 분포되어 있음을 시사합니다. 초기 및 후기 층은 토큰별 시각 연산을 거의 필요로 하지 않는 반면, 중간 층은 대부분의 과제 관련 시각적 통합을 수행하여 이후의 추론이 공유된 잔차 및 텍스트 표현에 이미 임베딩된 시각 정보에 크게 의존할 수 있도록 합니다. 이는 P2P를 효율적인 추론 프레임워크인 동시에 VLM의 시각 정보 처리를 들여다보는 인과적 렌즈로 만들어 줍니다.

arXiv:2610.00204v1cs.CV공통 태그 Computational Efficiency, Model Compression, token pruning

질의 독립적 가변 비트율 시각 토큰 코딩

Query Independent Variable Rate Visual Token Coding

비전-언어 모델(VLM)을 위한 시각 토큰 압축은 거의 전적으로 어떤 토큰을 유지하고 나머지를 폐기할지 결정하는 선택 문제로 다루어집니다. 가장 효과적인 기준은 언어 모델이 토큰에 부여하는 어텐션에 따라 토큰의 순위를 매기는 것인데, 이는 순위가 주어지는 질문의 함수가 되도록 만듭니다. 이러한 특성은 단일 턴 벤치마크에서는 드러나지 않지만, 대화의 여러 턴에 걸쳐 캐싱되거나 기기와 서버 간에 전송될 때처럼 압축된 표현이 한 번 기록되고 여러 번 읽힐 때 결정적인 영향을 미칩니다. 본 연구에서는 그 대신 고전적인 변환 코딩 툴킷의 다른 절반을 취하여, 모든 토큰을 유지하되 전송률(비트율)을 변화시킵니다. 변환 코드는 각 토큰의 측정된 왜곡-전송률 곡선을 드러내며, 고정된 비트 예산은 해당 곡선에 대한 정확한 정수율-왜곡 최적화를 통해 토큰 전반에 분배됩니다. 파이프라인에 텍스트가 입력되지 않으므로 하나의 압축된 표현으로 모든 질의를 처리할 수 있습니다. 동일한 비트 예산 하에 두 데이터셋과 두 가지 용량에서 평가했을 때, 균일 전송률 코딩, 닫힌 형태의 워터 필링 및 왜곡 순위 기반 가지치기보다 모델의 출력 분포와 답변을 더 우수하게 보존합니다. 또한 가지치기가 맞춰진 질문에 대해서는 어텐션 순위 기반 가지치기와 동등한 성능을 보이며, 동일한 이미지에 대해 압축된 이미지가 다른 질문에 답해야 하는 상황에서는 이를 능가합니다.

arXiv:2610.01785v1cs.CV공통 태그 Computational Efficiency, Model Compression, Video Understanding

VETO: 비전-언어 모델을 위한 비디오 효율적 토큰 최적화

VETO: Video Efficient Token Optimization for Vision Language Models

비전-언어 모델(VLM)로 긴 비디오를 처리하는 것은 시각적 토큰(token)의 이차(quadratic) 비용으로 인해 병목 현상이 발생하여, 장시간 추론(inference)의 비용이 매우 높아집니다. 단일 축 압축 방식들이 이를 완화하긴 하지만, 공간적 및 시간적 중복성을 독립적으로 다루기 때문에 뚜렷한 효율성의 한계에 부딪힙니다. 본 논문에서는 이중 축 압축을 통해 이러한 병목 현상을 해소하는 학습(training) 선택형 플러그인인 VETO(비전-언어 모델을 위한 비디오 효율적 토큰 최적화)를 제시합니다: (i) 최적 수송(optimal-transport)에서 영감을 얻은 매칭을 통해 각 프레임 내에서 의미론적으로 유사한 토큰들을 병합하는 프레임 내(intra-frame) 압축기, 그리고 (ii) 시간적으로 중복되는 프레임을 식별하여 병합하는 프레임 간(inter-frame) 압축기입니다. 핵심적인 설계 통찰은 계층적 순서화입니다. 공간적 차원을 먼저 압축함으로써 VETO는 후속되는 전역적 시간 매칭 비용을 대폭 절감하여 단일 축 접근 방식의 효율성 한계를 우회하며, 최신 완전 융합 어텐션(fully-fused attention) 인프라에서 이러한 이점이 더욱 커집니다. 실증적으로 VETO는 정확도를 유지하거나 향상시키면서 최대 45% 더 빠른 추론을 달성합니다(예: LLaVA-OneVision-7B). 극단적인 토큰 결핍 상태(10% 예산)에서 VETO는 55.7%의 정확도를 기록하여 VFlowOpt(54.9%), VisionZip(52.6%), FastV(47.9%)보다 뛰어난 성능을 보입니다. 또한 LLaVA-OneVision, InternVL-2.5, LongVA 전반에 걸친 보편적 적용 가능성을 입증하며, 모든 경우에서 제로샷(zero-shot) 정확도가 유지되거나 향상됨을 확인했습니다.

arXiv:2609.27988v1cs.CV공통 태그 Computational Efficiency, Model Compression, token pruning

비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭

Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces

비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Model Compression

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.