원문 초록
Token reduction accelerates long-video vision--language models (VLMs), but existing methods target Transformers, where reduction is treated as token pruning. We study token reduction in hybrid Mamba--Transformer VLMs and find that it is \emph{stateful}: Mamba layers maintain a recurrent state that accumulates information from earlier tokens, allowing discarded tokens to persist, so reduction behaves more like compression than dropping.We support this view with a representation-based probing method measuring how much information from discarded tokens is retained, and analyze layer-wise sparsity and cross-layer importance stability. Our findings show importance is sparse within layers but unstable across layers, making aggressive early pruning unreliable while hybrids remain robust to later reduction.Motivated by this, we propose a hybrid-aware token reduction framework with a low-to-high progressive schedule and a unified query-conditioned importance score for attention and Mamba layers. For Mamba, excluding the position-dependent decay from the recurrence produces a stronger selection signal. Across long-video benchmarks, our method achieves $3.8{\times}$--$4.2{\times}$ prefilling speedups at a 25% token budget while maintaining near-baseline accuracy and improving with light finetuning. Hybrid models benefit from aggressive reduction, improving both efficiency and accuracy, whereas Transformers exhibit the standard trade-off. Our method also outperforms prior baselines on the same hybrid backbone and combines effectively with visual redundancy reduction methods.
요약
하이브리드 Mamba–Transformer 비전-언어 모델(VLM)에서 토큰 축소는 단순한 프루닝이 아닌 상태 기반 압축(stateful compression)으로 동작함을 실증적으로 분석하고, 이를 토대로 낮은 층에서 높은 층으로 점진적으로 적용하는 하이브리드 인식 토큰 축소 프레임워크를 제안한다. 긴 동영상 벤치마크(VideoMME, LongVideoBench, LVBench)에서 25% 토큰 예산으로 3.8×–4.2× 프리필링 속도 향상을 달성하면서 기준 성능을 유지하고, 하이브리드 모델의 경우 공격적인 토큰 축소가 오히려 정확도까지 개선하는 효과를 보인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.00198v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VETO: 비전-언어 모델을 위한 비디오 효율적 토큰 최적화
VETO: Video Efficient Token Optimization for Vision Language Models
비전-언어 모델(VLM)로 긴 비디오를 처리하는 것은 시각적 토큰(token)의 이차(quadratic) 비용으로 인해 병목 현상이 발생하여, 장시간 추론(inference)의 비용이 매우 높아집니다. 단일 축 압축 방식들이 이를 완화하긴 하지만, 공간적 및 시간적 중복성을 독립적으로 다루기 때문에 뚜렷한 효율성의 한계에 부딪힙니다. 본 논문에서는 이중 축 압축을 통해 이러한 병목 현상을 해소하는 학습(training) 선택형 플러그인인 VETO(비전-언어 모델을 위한 비디오 효율적 토큰 최적화)를 제시합니다: (i) 최적 수송(optimal-transport)에서 영감을 얻은 매칭을 통해 각 프레임 내에서 의미론적으로 유사한 토큰들을 병합하는 프레임 내(intra-frame) 압축기, 그리고 (ii) 시간적으로 중복되는 프레임을 식별하여 병합하는 프레임 간(inter-frame) 압축기입니다. 핵심적인 설계 통찰은 계층적 순서화입니다. 공간적 차원을 먼저 압축함으로써 VETO는 후속되는 전역적 시간 매칭 비용을 대폭 절감하여 단일 축 접근 방식의 효율성 한계를 우회하며, 최신 완전 융합 어텐션(fully-fused attention) 인프라에서 이러한 이점이 더욱 커집니다. 실증적으로 VETO는 정확도를 유지하거나 향상시키면서 최대 45% 더 빠른 추론을 달성합니다(예: LLaVA-OneVision-7B). 극단적인 토큰 결핍 상태(10% 예산)에서 VETO는 55.7%의 정확도를 기록하여 VFlowOpt(54.9%), VisionZip(52.6%), FastV(47.9%)보다 뛰어난 성능을 보입니다. 또한 LLaVA-OneVision, InternVL-2.5, LongVA 전반에 걸친 보편적 적용 가능성을 입증하며, 모든 경우에서 제로샷(zero-shot) 정확도가 유지되거나 향상됨을 확인했습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
유리 함수 기반으로 선형화된 다층 퍼셉트론
Rationally Linearized MLPs
본 논문에서는 표준 활성화 함수의 저차수 유리 근사(rational approximation)를 활용하여 다층 퍼셉트론(MLP)을 효율적으로 선형화하는 새로운 접근법인 RaLiMPs(Rationally Linearized Multilayer Perceptrons)를 제시합니다. 다항식 기반 MLP 선형화에서 영감을 받아, 유리 근사가 훨씬 낮은 차수에서도 정확한 표현을 제공할 수 있음을 보입니다. RaLiMPs는 이러한 근사를 활용하여 좁은 병목(bottleneck)을 갖는 커널(kernel) 표현을 구성함으로써 MLP 계층 전반에 걸친 효율적인 합성을 가능하게 합니다. 또한 도출된 근사에 대한 이론적 보장을 제공하며, 암시적 3D 모델부터 대규모 언어 모델(LLM)에 이르는 다양한 응용 분야에서 RaLiMPs를 평가합니다. 실험 결과, RaLiMPs가 추론 비용을 대폭 줄이면서도 경쟁력 있거나 향상된 정확도를 달성하여 유리한 정확도-효율성 트레이드오프를 보여줌을 입증합니다.
AudioTETRIS: 효율적인 오디오 LLM을 위한 전이적 중요도 신호 기반 토큰 제거
AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
대규모 오디오 언어 모델(LALM)은 음성-텍스트 작업에서 우수한 성능을 달성하지만, 표준 오디오 인코더는 짧은 오디오 클립에 대해서도 수백 개의 토큰을 생성합니다. 셀프 어텐션(self-attention)이 시퀀스 길이에 대해 제곱으로 스케일링되기 때문에, 이는 추론(inference) 시점의 연산량을 크게 증가시킵니다. 현재의 학습이 필요 없는(training-free) 토큰 압축 방법들은 오직 거친(coarse) 어텐션 또는 특징(feature) 유사도에만 기반하여 토큰을 가지치기(pruning)하거나 병합합니다. 그러나 오디오 토큰을 일반적이고 등방성(isotropic)인 특징으로 취급하는 것은 스펙트럼 전이(spectral transition)를 평탄화시켜, 음성 디코딩에 필수적인 세밀한 음소 전이(phonetic transition)를 손상시킵니다. 반면, 음성 신호는 정보 밀도가 음향 전이(acoustic transition) 지점에서 정점을 이루는 매우 구조화된 시간적 패턴을 보입니다. 우리는 어텐션 기반 압축을 적용하기 전에 오디오 인코더의 표현 기하구조(representation geometry)를 토큰 중요도에 대한 음향적 사전 정보(prior)로 활용하는, 학습이 필요 없는 2단계 프레임워크인 AudioTETRIS를 제안합니다. AudioTETRIS는 인코딩 단계 이후에 인코더 구조를 버리는 대신, 이 사전 정보를 LLM 디코더로 직접 전파하여 토큰별 융합 점수(fused score)를 계산합니다. 이 점수는 추가적인 학습이나 보조 모델 없이 디코더 레이어 전반에 걸쳐 점진적인 top-$k$ 토큰 선택을 주도합니다. Qwen2-Audio-7B, Phi-4-Multimodal, Audio Flamingo 3에서 평가한 결과, AudioTETRIS는 오디오 토큰의 25%만을 사용하여 여러 음성 작업에서 거의 압축되지 않은 수준의 성능을 유지하며, 중간 수준의 압축률에서 전체 토큰 정확도와 동등하거나 이를 상회하고, 기존의 학습이 필요 없는 베이스라인들을 일관되게 능가합니다.
ReplaySSM: 상태 대신 SSM 입력 캐싱하기
ReplaySSM: Cache SSM Inputs, Not State
상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.