PyTorchKR Papers

최신 논문

총 24편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24894v2cs.CV

SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기

SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.

arXiv:2610.13600v1cs.SD

AudioTETRIS: 효율적인 오디오 LLM을 위한 전이적 중요도 신호 기반 토큰 제거

AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs

대규모 오디오 언어 모델(LALM)은 음성-텍스트 작업에서 우수한 성능을 달성하지만, 표준 오디오 인코더는 짧은 오디오 클립에 대해서도 수백 개의 토큰을 생성합니다. 셀프 어텐션(self-attention)이 시퀀스 길이에 대해 제곱으로 스케일링되기 때문에, 이는 추론(inference) 시점의 연산량을 크게 증가시킵니다. 현재의 학습이 필요 없는(training-free) 토큰 압축 방법들은 오직 거친(coarse) 어텐션 또는 특징(feature) 유사도에만 기반하여 토큰을 가지치기(pruning)하거나 병합합니다. 그러나 오디오 토큰을 일반적이고 등방성(isotropic)인 특징으로 취급하는 것은 스펙트럼 전이(spectral transition)를 평탄화시켜, 음성 디코딩에 필수적인 세밀한 음소 전이(phonetic transition)를 손상시킵니다. 반면, 음성 신호는 정보 밀도가 음향 전이(acoustic transition) 지점에서 정점을 이루는 매우 구조화된 시간적 패턴을 보입니다. 우리는 어텐션 기반 압축을 적용하기 전에 오디오 인코더의 표현 기하구조(representation geometry)를 토큰 중요도에 대한 음향적 사전 정보(prior)로 활용하는, 학습이 필요 없는 2단계 프레임워크인 AudioTETRIS를 제안합니다. AudioTETRIS는 인코딩 단계 이후에 인코더 구조를 버리는 대신, 이 사전 정보를 LLM 디코더로 직접 전파하여 토큰별 융합 점수(fused score)를 계산합니다. 이 점수는 추가적인 학습이나 보조 모델 없이 디코더 레이어 전반에 걸쳐 점진적인 top-$k$ 토큰 선택을 주도합니다. Qwen2-Audio-7B, Phi-4-Multimodal, Audio Flamingo 3에서 평가한 결과, AudioTETRIS는 오디오 토큰의 25%만을 사용하여 여러 음성 작업에서 거의 압축되지 않은 수준의 성능을 유지하며, 중간 수준의 압축률에서 전체 토큰 정확도와 동등하거나 이를 상회하고, 기존의 학습이 필요 없는 베이스라인들을 일관되게 능가합니다.

arXiv:2605.09982v2cs.CV

ERASE: 적응형 2단계 토큰 가지치기를 통한 중복 시각 토큰 제거

ERASE: Eliminating Redundant Visual Tokens via Adaptive Two-Stage Token Pruning

최근 비전-언어 모델(VLM)의 발전으로 대규모 언어 모델(LLM)이 고해상도 이미지를 처리할 수 있게 되면서 실제 환경에서의 멀티모달 이해 능력이 크게 향상되었습니다. 그러나 이러한 기능은 수많은 비전 토큰을 발생시켜 상당한 연산 오버헤드를 초래합니다. 이 문제를 완화하기 위해 다양한 비전 토큰 압축 방법이 제안되었습니다. 기존 방법들은 대개 학습된 표현이나 고정된 가지치기 일정을 사용하여 다양한 원인의 시각적 중복성을 추정합니다. 본 논문에서는 이미지 수준의 중복성 제거와 지시문(instruction) 의존적 토큰 가지치기를 분리하는 적응형 2단계 프레임워크인 ERASE를 제안합니다. 1단계는 경량의 원본 이미지 통계로부터 이미지 의존적 토큰 보존율을 도출하며, 2단계는 디코더 레이어 전반에서 지시문과 무관한 토큰을 점진적으로 제거합니다. 실험 결과 정확도를 유지하면서도 상당한 토큰 감축을 달성함을 입증했습니다. Qwen2.5-VL-7B에서 ERASE는 25%의 토큰 보존율에서도 원본 모델 정확도의 95.70%를 유지합니다. 코드는 https://github.com/Tuna-Luna/ERASE 에서 확인할 수 있습니다.

arXiv:2604.23950v2cs.CV

LearnPruner: 비전-언어 모델에서의 어텐션 기반 토큰 가지치기 재고

LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models

비전-언어(Vision-Language) 모델(VLM)은 최근 시각적 이해와 추론에서 뛰어난 능력을 보여주고 있지만, 긴 시각 시퀀스 입력으로 인해 상당한 연산 부담을 초래한다. 최근 연구들은 중요하지 않은 시각 토큰을 가지치기하여 모델 성능을 유지하면서도 상당한 연산량 감소를 달성함으로써 이 문제를 해결하고자 한다. 토큰 가지치기의 핵심은 토큰 중요도를 판단하는 것이며, 현재의 접근법들은 주로 비전 인코더(vision encoder) 또는 대규모 언어 모델(LLM)의 어텐션 점수에 의존한다. 본 논문에서는 비전 인코더와 LLM 양쪽에서 어텐션 메커니즘의 효과를 분석한다. 그 결과, 비전 인코더는 어텐션 싱크(attention sink)를 겪어 정보가 풍부한 전경(foreground) 영역에 대한 초점이 저하되는 반면, LLM의 경우 기존 연구들이 토큰 위치에 대한 어텐션 바이어스를 확인했음에도 텍스트-투-비전(text-to-vision) 어텐션은 이러한 바이어스에 대한 저항성을 보이며 중간 층(middle layer)에서 효과적인 가지치기 가이던스를 제공할 수 있음을 발견했다. 이러한 관찰을 바탕으로, 우리는 비전 인코더 이후 학습 가능한 가지치기 모듈을 통해 불필요한 시각 토큰을 먼저 제거하고, 이후 LLM의 중간 층에서 과제와 관련된 토큰만을 유지하는 2단계 토큰 가지치기 프레임워크인 LearnPruner를 제안한다. 실험 결과, LearnPruner는 시각 토큰의 5.5%만을 사용하면서도 원래 성능의 약 95%를 유지할 수 있으며, 3.2배의 추론 가속을 달성하여 우수한 정확도-효율성 트레이드오프를 보여준다.

arXiv:2610.03389v1cs.CV

패칭에서 가지치기로: 비전-언어 모델에서의 시각적 연산 가지치기

From Patching to Pruning Visual Computation in Vision Language Models

비전-언어 모델(VLM)은 여러 깊이에서 토큰별 시각 연산이 불필요한 경우에도 모든 시각 토큰이 모든 디코더 층의 어텐션 및 MLP 프로젝션을 거쳐 처리되기 때문에 상당한 추론 비용을 발생시킵니다. 본 논문에서는 기계론적 해석가능성(Mechanistic Interpretability)에서 영감을 받아, 활성화 패칭(activation patching)을 진단 도구에서 추론 시점의 연산 우회 방식으로 전환하는 학습 불필요(training-free) 프레임워크인 Patch-to-Prune(P2P)을 제안합니다. P2P는 검증 기반 전방향 및 역방향 층 스윕을 수행하여, 사용자가 지정한 정확도 허용 범위 내에서 시각 토큰 프로젝션 출력을 고정된 중립 대리 활성화 벡터로 대체할 수 있는 디코더 영역을 식별합니다. 기존의 토큰 가지치기 방법과 달리, P2P는 시퀀스 길이, 토큰 순서, 위치 정보, 어텐션 마스크 및 잔차 경로를 보존하므로 토큰을 제거하거나 사전학습된 모델 가중치를 수정하지 않고도 연산을 가지치기합니다. 우리는 상호 배타적인 캘리브레이션, 검증 및 테스트 분할을 사용하여 7개의 멀티모달 벤치마크에 걸쳐 Qwen2.5-VL 및 LLaVA 계열의 4개 VLM에서 P2P를 평가합니다. 3% 허용 오차에서 P2P는 고밀도(dense) 정확도의 약 94%를 유지하면서 FLOP을 55% 줄입니다. 이러한 효율성 향상 외에도, 층별 분석을 통해 VLM의 시각적 처리가 디코더 깊이에 걸쳐 불균일하게 분포되어 있음을 시사합니다. 초기 및 후기 층은 토큰별 시각 연산을 거의 필요로 하지 않는 반면, 중간 층은 대부분의 과제 관련 시각적 통합을 수행하여 이후의 추론이 공유된 잔차 및 텍스트 표현에 이미 임베딩된 시각 정보에 크게 의존할 수 있도록 합니다. 이는 P2P를 효율적인 추론 프레임워크인 동시에 VLM의 시각 정보 처리를 들여다보는 인과적 렌즈로 만들어 줍니다.

arXiv:2610.00204v1cs.CV

질의 독립적 가변 비트율 시각 토큰 코딩

Query Independent Variable Rate Visual Token Coding

비전-언어 모델(VLM)을 위한 시각 토큰 압축은 거의 전적으로 어떤 토큰을 유지하고 나머지를 폐기할지 결정하는 선택 문제로 다루어집니다. 가장 효과적인 기준은 언어 모델이 토큰에 부여하는 어텐션에 따라 토큰의 순위를 매기는 것인데, 이는 순위가 주어지는 질문의 함수가 되도록 만듭니다. 이러한 특성은 단일 턴 벤치마크에서는 드러나지 않지만, 대화의 여러 턴에 걸쳐 캐싱되거나 기기와 서버 간에 전송될 때처럼 압축된 표현이 한 번 기록되고 여러 번 읽힐 때 결정적인 영향을 미칩니다. 본 연구에서는 그 대신 고전적인 변환 코딩 툴킷의 다른 절반을 취하여, 모든 토큰을 유지하되 전송률(비트율)을 변화시킵니다. 변환 코드는 각 토큰의 측정된 왜곡-전송률 곡선을 드러내며, 고정된 비트 예산은 해당 곡선에 대한 정확한 정수율-왜곡 최적화를 통해 토큰 전반에 분배됩니다. 파이프라인에 텍스트가 입력되지 않으므로 하나의 압축된 표현으로 모든 질의를 처리할 수 있습니다. 동일한 비트 예산 하에 두 데이터셋과 두 가지 용량에서 평가했을 때, 균일 전송률 코딩, 닫힌 형태의 워터 필링 및 왜곡 순위 기반 가지치기보다 모델의 출력 분포와 답변을 더 우수하게 보존합니다. 또한 가지치기가 맞춰진 질문에 대해서는 어텐션 순위 기반 가지치기와 동등한 성능을 보이며, 동일한 이미지에 대해 압축된 이미지가 다른 질문에 답해야 하는 상황에서는 이를 능가합니다.

arXiv:2609.27988v1cs.CV

비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭

Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces

비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/

arXiv:2609.23715v1cs.CV

멀티모달 대규모 언어 모델의 시각적 토큰 가지치기를 위한 층 인식 위치 임베딩

Layer-Aware Position Embeddings for Visual Token Pruning in Multimodal Large Language Models

멀티모달 대규모 언어 모델(MLLM)은 이미지를 표현하기 위해 수백 개의 시각적 토큰에 의존하기 때문에 상당한 계산 오버헤드를 발생시킵니다. 토큰 가지치기(token pruning)는 MLLM의 추론(inference) 비용을 줄이기 위한 유망한 접근법으로 부상했으나, 기존 방법들은 일반적으로 희소(sparse) 또는 연속적(continuous) 위치 임베딩(position embedding)을 사용하여 유지된 토큰에 위치 임베딩을 재할당하며, 각각 고유한 한계를 야기합니다. 희소 위치 임베딩은 시각적 토큰에 할당되는 어텐션(attention) 값을 감소시키는 경향이 있어 MLLM의 인식 능력을 저하시키는 반면, 연속적 위치 임베딩은 시각적 토큰의 원래 공간적 대응 관계를 왜곡하여 그라운딩(grounding) 능력을 약화시킵니다. 이러한 문제를 완화하기 위해 본 논문에서는 언어 디코더에 대한 층별 분석을 수행하고, 중간 층이 토큰 가지치기 상황에서 MLLM의 그라운딩 능력을 유지하는 데 중요한 역할을 한다는 점을 관찰했습니다. 이 관찰을 바탕으로, 그라운딩에 민감한 층에서는 희소 위치 임베딩으로 전환하고 그 외의 층에서는 연속적 위치 임베딩을 유지하는 층 인식(layer-aware) 위치 임베딩 전략을 제안합니다. 대표적인 가지치기 방법들과 다양한 벤치마크에 걸친 광범위한 실험을 통해, 본 접근법이 표준 희소 및 연속적 위치 임베딩과 비교하여 가지치기된 MLLM의 포괄적인 멀티모달 성능을 향상함을 입증합니다.

arXiv:2604.00757v3cs.CV

IWP: 대규모 비전-언어 모델에서 토큰 가지치기를 암시적 가중치 가지치기로

IWP: Token Pruning as Implicit Weight Pruning in Large Vision Language Models

대규모 비전-언어 모델(LVLM)은 이미지 및 영상 이해 작업 전반에서 인상적인 성능을 보이지만, 계산 비용은 시각 토큰 수에 따라 급격히 증가한다. 기존 토큰 가지치기 방법은 경험적 접근을 통해 이 문제를 완화하지만, 어텐션의 내부 메커니즘은 간과한다. 본 논문에서는 어텐션의 이중 형태(dual form) 관점에 기반한 새로운 학습 없는(training-free) 토큰 가지치기 프레임워크를 제안한다. 우리는 어텐션을 암시적 선형 계층으로 재공식화하는데, 이 계층의 가중치 행렬은 각각 단일 토큰의 key-value 쌍에 의해 생성되는 rank-1 외적의 합이다. 따라서 토큰 가지치기는 원래의 이중 가중치 행렬을 가장 잘 근사하는 이러한 rank-1 갱신의 최적 부분집합을 선택하는 문제로 환원된다. 이 관점을 LVLM의 표준 소프트맥스 어텐션으로 확장하여, 토큰의 정보량과 정보 중복을 모두 정량화하는 새로운 지표를 유도한다. 제안한 지표로 부분집합을 효율적으로 선택하기 위해 Progressive Chunked Maximal Marginal Relevance를 도입한다. 광범위한 실험 결과, 본 방법은 성능과 효율성 사이에서 더 나은 절충을 달성하며, 기존 가지치기 접근법에 대한 또 다른 관점을 제공함을 보여준다.

arXiv:2607.23445v1cs.CV

Omni-Prune: 효율적인 옴니모달 대규모 언어 모델을 위한 쿼리 인식 통합 토큰 가지치기

Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models

옴니모달 대규모 언어 모델(OmniLLM)은 동기화된 오디오와 비디오를 포함하도록 멀티모달 추론을 빠르게 확장하고 있다. 그러나 그 결과로 생성되는 오디오-비디오 토큰 시퀀스는 길어져, 추론 시 prefill 지연과 GPU 메모리 사용량이 높아진다. 기존 토큰 가지치기 방법은 주로 시각 입력만을 대상으로 설계되어, 오디오와 비디오 간의 교차 모달 연결과 어떤 콘텐츠가 중요한지를 결정하는 사용자 쿼리를 모두 놓친다. 이 격차를 메우기 위해, 우리는 Omni-Prune을 제안한다. Omni-Prune은 학습 없이 동작하는 쿼리 인식 오디오-비주얼 토큰 가지치기 프레임워크로, 작업 관련 교차 모달 증거를 유지하면서 두 모달리티의 중복을 함께 제거한다. 구체적으로, Omni-Prune은 먼저 토큰 시퀀스를 오디오 현저성(saliency) 피크에 배치된 적응형 시간 윈도우로 분할한 다음, 인코더 어텐션과 텍스트-쿼리 관련성을 결합한 단일 척도로 오디오 및 비디오 토큰을 점수화하고, 관련 오디오-비디오 토큰을 쌍으로 묶어 함께 유지되도록 한다. 각 윈도우 내에서 마지막 K-medoids 단계가 소수의 대표 토큰을 선택하여, 점수 기반 선택만으로는 놓칠 수 있는 다양한 단서를 추가한다. 광범위한 실험을 통해 Omni-Prune이 확립된 기준선 방법을 능가하며, 전체 모델 성능의 99% 이상을 유지하면서 최대 3.25배의 prefill 속도 향상과 1.3배의 메모리 절감을 달성함을 보여준다.

arXiv:2607.23046v1cs.CV

고해상도 MLLM에서 효율적인 비주얼 토큰 가지치기를 위한 구조화된 중복성 모델링

Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs

최근 고해상도 멀티모달 대규모 언어 모델(MLLM)은 입력당 수천 개의 비주얼 토큰을 생성하며, 이로 인한 비주얼 토큰 폭발은 심각한 지연 병목을 야기한다. 토큰 가지치기가 이 문제를 완화하지만, 최신 부분집합 최적화 방법들은 일반적으로 반복적 부분집합 구성에 의존하여 비주얼 다양성과 인스트럭션 관련성을 공동으로 포착한다. 비주얼 토큰 수가 증가함에 따라 이러한 순차적 의존성은 상당한 선택 오버헤드를 도입하여, 이론적 FLOPs 감소가 실제 경과 시간 속도 향상으로 전환되는 것을 심각하게 제한한다. 이 한계를 해결하기 위해, 우리는 Single-Forward Pruner(SFPruner)를 제안한다. 이는 비주얼 토큰 가지치기의 구조적 재공식화로, 중복성 제어를 점수 공간에 직접 내장하여 반복적 조합 최적화의 필요성을 우회한다. 우리의 비반복적 프레임워크는 두 가지 상호 보완적 메커니즘을 통해 단일 순전파에서 중복성 인식 중요도 선택을 달성한다. 첫째, 공분산 수준에서 중복성을 감쇠하기 위해 의미론 기반 ridge leverage 방식을 도입한다. 인스트럭션 관련성과 비주얼 현저성(saliency)을 통합함으로써, 이 메커니즘은 지배적 공분산 방향을 억제하고 표현 바이어스를 완화한다. 둘째, 순위 기반 방향성 마스킹은 비대칭 유사도 경쟁을 통해 잔여 중복을 해소한다. 여기서 더 높은 점수의 토큰이 병렬 텐서 연산을 통해 중복적인 낮은 점수 대안을 명시적으로 억제한다. 광범위한 평가를 통해, 우리 접근법이 안정적인 선택 비용을 유지함을 보여주며, Qwen2.5-VL에서 512 토큰 기준 토큰 선택 과정을 112.4 ms에서 단 2.5 ms로 최대 110 ms까지 단축한다. 이 구조적 효율성은 공격적인 압축 하에서 최신 기법 대비 매우 경쟁력 있는 성능을 유지하면서, 이론적 토큰 감소를 실질적인 추론 속도 향상으로 성공적으로 전환한다.

arXiv:2606.18681v2cs.CV

다양성을 넘어서: 효율적인 VLM을 위한 부분공간 재구성으로서의 비주얼 토큰 가지치기

Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs

뛰어난 성능에도 불구하고, 비전-언어 모델(VLMs)은 다수의 비주얼 토큰으로 인해 상당한 계산 오버헤드를 발생시킵니다. 다양성 최대화가 토큰 축소의 지배적인 전략이 되었지만, 기존 방법들은 크기 정보를 버리는 코사인 기반 정규화 유사도에 의존하여 원래의 특징 표현을 충실히 근사하지 못하고, 특히 구성적 다중 기술 추론 작업에서 최적에 미치지 못하는 성능을 초래합니다. 본 논문에서는 토큰 가지치기를 열 부분집합 선택 문제로 재정의하고 재구성 오차를 명시적으로 최소화하는 부분공간 재구성 방법인 SPARE를 소개합니다. SPARE는 큰 투영 잔차를 가진 토큰을 반복적으로 선택하여, 각도 기반 다양성을 넘어선 재구성 기반 가지치기를 수행합니다. 더 나아가, 우리는 직관에 반하는 반관련성 현상을 밝혀냈습니다: 이미지-텍스트 관련성 점수가 더 낮은 토큰이 문맥 정보를 더 잘 보존할 수 있다는 것입니다. 이 발견을 바탕으로, 우리는 문맥 인식 토큰 선택을 촉진하기 위해 반관련성을 SPARE에 추가적인 선택 기준으로 통합합니다. 다양한 VLM과 벤치마크에 걸친 광범위한 실험을 통해 SPARE가 구성적 작업에서 큰 향상을 보이며 최첨단 성능을 일관되게 달성함을 입증합니다. LLaVA에 적용했을 때, SPARE는 완전히 학습 없이 비주얼 토큰의 최대 94%를 제거하면서도 기준선 성능의 95%를 유지합니다.

arXiv:2605.29662v2cs.CV

SAFE-Pruner: 효율적인 비전-언어-행동 조작을 위한 의미론적 어텐션 기반 미래 인식 토큰 가지치기

SAFE-Pruner: Semantic Attention-Guided Future-Aware Token Pruning for Efficient Vision-Language-Action Manipulation

비전-언어-행동(VLA) 모델의 실시간 추론은 로봇 제어에 필수적이다. 시각적 토큰 가지치기는 추론 가속에 큰 잠재력을 보여주었지만, 기존 방법 대부분은 가지치기 결정을 주로 얕은 층의 단서에 기반하여 깊은 층에서 필요한 시각 정보를 버릴 위험이 있다. 이 문제를 해결하기 위해, 우리는 미래 층의 어텐션 단서를 가지치기 결정에 통합하는 plug-and-play 가지치기 프레임워크인 SAFE-Pruner를 제안한다. 구체적으로, VLA 모델이 제어 타임스텝 전반에 걸쳐 동일한 의미론적 개체에 어텐션 확률 질량을 집중하는 경향인 의미론적 어텐션 일관성을 확인한다. 이 관찰에 기반하여, 깊은 층에서의 토큰 현저성을 예측하는 전방 주시 전략을 설계하여, 중요 토큰의 조기 제거를 방지하고 더 안정적인 가속을 달성한다. 또한 어텐션 변화 시 업데이트를 트리거하는 참조 타임스텝 갱신 전략을 도입하여, 예측 정확도와 가지치기 신뢰성을 향상시킨다. 다양한 평가 설정에 걸친 광범위한 실험 결과, 우리 방법은 성공률 저하를 1.5% 미만으로 최소화하면서 최대 1.89배의 속도 향상을 달성하며, 최신 방법 대비 최대 1.9% 더 높은 성공률을 보인다.

arXiv:2607.20357v1cs.CV

적게 보고, 빠르게 생각: 멀티모달 LLM의 토큰-연산 공동 적응

Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs

멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)은 최근 비전-언어(vision-language) 태스크 전반에서 우수한 성능을 보여주었다. 그러나 많은 입력 시각 토큰과 대규모 언어 모델(Large Language Model, LLM)의 무거운 연산으로 인한 높은 추론 비용은 실용적 배포의 핵심 장벽으로 남아 있다. 최근 연구는 예를 들어 중복 시각 토큰의 가지치기나 LLM 레이어 및 헤드 건너뛰기처럼 개별 차원을 적응적으로 최적화하여 비용을 줄이려 시도한다. 그럼에도 기존 접근법은 이러한 차원들을 독립적으로 다루는 경우가 많으며, 입력 내용에 따라 가용 연산 자원을 모든 차원에 걸쳐 동적으로 배분해야 한다는 근본적인 결합 관계를 간과한다. 이 간극을 메우기 위해, 우리는 변화하는 입력 내용과 연산 예산에 대응하여 시각 토큰 수와 모델 연산 능력을 공동으로 제어하는 통합 적응형 추론 프레임워크 SmartVL을 제안한다. SmartVL은 정보가 풍부한 시각 토큰을 동적으로 선택하는 비전 측 토큰 컨트롤러와 LLM 연산을 적응적으로 조절하는 LLM 측 연산 컨트롤러를 도입한다. 중요한 점은, 이 컨트롤러들이 서로 협조하도록 학습되어 전체 추론 비용이 목표 예산을 만족하도록 한다는 것이다. 이러한 공동 스케줄링을 가능하게 하기 위해, 공유 예산 인코딩으로 컨트롤러들을 연결하고 미분 가능한 지연(latency) 추정기를 활용하여 end-to-end 학습을 수행한다. 이 설계를 통해 SmartVL은 입력 복잡도와 런타임 연산 제약 모두에 적응하는 단계 간 할당 전략을 학습할 수 있다. 여러 MLLM 벤치마크에 걸친 실험은 공동 스케줄링을 통해 SmartVL이 기존 적응형 방법들을 일관되게 능가하며 더 우수한 정확도-효율 파레토 프론티어를 달성함을 보여준다. 프로젝트 페이지: https://www.schaterji.io/publications/2026/jointtokencompute.

arXiv:2607.10640v1cs.CV

비전-언어 모델에서 보존적 토큰 응축을 위한 스펙트럴 열 흐름

Spectral Heat Flow for Conservative Token Condensation in Vision-Language Models

비전-언어 모델(VLM)은 긴 시각적 토큰 시퀀스를 처리해야 하므로 추론 시 높은 비용이 발생한다. 기존의 토큰 가지치기 방법들은 높은 압축률에서 정보를 무분별하게 제거하여 공간적 구조를 손상시키거나 다양성을 붕괴시켜 성능이 저하되는 경향이 있다. 우리는 파괴적인 가지치기 패러다임에서 보존적 응축 패러다임으로 전환하는 학습 불필요(training-free) 프레임워크 SpecFlow를 제안하며, 안정성 보장을 위해 공간적 커버리지와 통계적 보존을 엄격히 적용한다. 시각적 토큰을 $k$NN 그래프의 노드로 처리하는 SpecFlow는 (i) 스펙트럴 열 흐름을 통해 구조적 일관성을 보존하는 안정적인 중요도 필드를 계산하고, (ii) 적응적 공간 분할을 통해 예산을 할당하여 커버리지를 보장하며, (iii) 제거된 정보를 코어셋 싱크(coreset sink)에 집약하여 통계적 보존을 유지한다. 이 방법은 플러그 앤 플레이 방식으로 미세조정이 필요 없으며 FlashAttention과 호환된다. 실험을 통해 SpecFlow가 다양한 태스크, VLM 아키텍처, 가지치기 비율에서 최신 기술(SOTA) 방법들을 능가함을 확인하였다. 특히, SpecFlow를 적용한 LLaVA-1.5는 시각적 토큰의 88.9%를 가지치기하고도 원래 성능의 95.6%를 유지하여 탁월한 효율성-정확도 균형을 제공한다. 코드는 https://github.com/Lzy-dot/SpecFlow 에서 확인할 수 있다.

arXiv:2604.11530v3cs.CV

어텐션 점수를 넘어서: 효율적인 비전-언어 모델을 위한 SVD 기반 비전 토큰 가지치기

Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models

비전-언어 모델(VLM)의 추론 효율화를 위해 특이값 분해(SVD)를 기반으로 비전 토큰의 전역적 스펙트럼 구조를 분석하고 레버리지 점수(leverage score)로 중요 토큰을 선별하는 학습 불필요(training-free) 플러그 앤 플레이 방법인 SVD-Prune을 제안한다. 어텐션 점수 기반의 기존 방법들이 위치 편향과 정보 분산 문제로 극단적인 가지치기 상황에서 성능이 저하되는 것과 달리, SVD-Prune은 POPE, GQA, TextVQA, MME 벤치마크에서 16~32개의 비전 토큰만으로도 기존 방법 대비 일관되게 우수한 성능을 유지함을 실험으로 입증했다.

arXiv:2607.04079v1cs.CV

한 번 보는 것으로 충분한가? 3D 질의응답을 위한 온라인 기하학 인식 토큰 가지치기

Seeing Once is Enough? Online Geometry-Aware Token Pruning for 3D Question Answering

최근 멀티모달 대규모 언어 모델(MLLM)은 2D 질의응답 태스크에서 뛰어난 성능을 보여왔다. 그러나 이러한 모델을 3D 질의응답으로 확장하는 것은 여전히 어려운 과제로, 일반적으로 장면의 다중 시점이 필요하여 추론 시 상당한 계산 비용이 발생한다. 이 문제를 완화하기 위해 기존 솔루션들은 전략적 프레임 선택 또는 토큰 병합 알고리즘에 의존하며, 이는 장면의 모든 프레임을 사전에 전처리하는 오프라인 방식을 필요로 한다. 이와 달리, 우리는 추가 학습 없이 더 낮은 메모리 사용량으로 현재 MLLM 모델에 원활하게 통합될 수 있는, 3D 질의응답 태스크를 위한 최초의 온라인 토큰 가지치기 방법을 제안한다. 핵심 아이디어는 깊이 정보와 카메라 포즈를 활용하여 각 입력 프레임을 공유 복셀(voxel) 공간에 투영함으로써 프레임 간 공간적으로 중복된 영역을 식별하고, 해당 중복 이미지 토큰이 언어 모델에 입력되기 전에 선택적으로 가지치기를 수행하는 것이다. 우리의 방법은 효율적인 온라인 처리를 가능하게 하면서 토큰 사용량을 최대 50%까지 줄인다. 이 접근법을 Qwen2.5-VL-7B와 Qwen3-VL-8B에 적용하여 ScanQA, SQA3D, OpenEQA-HM3D 벤치마크에서 향상된 성능을 입증하였다.

arXiv:2607.02612v1cs.CV

Fusion: 비전 트랜스포머에서의 통합 순차적 토큰 적응 프레임워크

Fusion: A Framework for Unified Sequential Token AdaptatIon in VisiOn TraNsformers

비전 트랜스포머(Vision Transformer)는 높은 이미지 분류 정확도를 달성하지만, 많은 영역이 중복되거나 정보가 없는 경우에도 거의 동일한 연산량으로 모든 이미지 영역을 처리합니다. 최근의 적응형 추론 기법들은 토큰을 선택적으로 압축하거나 추론을 조기에 종료함으로써 이러한 비용을 줄이지만, 두 메커니즘을 결합하면 중간 표현이 불안정해지고 정확도가 저하되는 경우가 많습니다. 우리는 토큰 병합, 조기 종료, 토큰 가지치기를 단순한 단계적 설계를 통해 조율하는 통합 적응형 추론 프레임워크인 Fusion을 제안합니다. 구체적으로, 먼저 토큰을 병합하고, 다음으로 신뢰도를 평가하며, 가지치기는 추론을 계속하는 샘플에만 적용됩니다. 이러한 순서를 통해 세 가지 메커니즘이 경쟁하지 않고 협력적으로 동작합니다. Fusion은 또한 각 입력에 따라 압축 강도를 적응적으로 조절하고, 재학습 없이 추론 시점에 정확도-지연 시간 트레이드오프를 조정할 수 있는 경량 라우팅 모듈을 포함합니다. DeiT-S를 사용한 ImageNet-1k 실험에서 Fusion은 유사한 연산 예산에서 최신 적응형 ViT 기법들과 동등하거나 이를 능가하면서 캘리브레이션 오차를 최대 4배 줄이고 추론 에너지를 48% 감소시킵니다. ImageNet-100, CIFAR-100, ImageNette에서 다양한 ViT 백본으로 수행한 실험은 데이터셋별 튜닝 없이도 일관된 전이 가능성을 보여줍니다.

arXiv:2607.00692v1cs.AI

Self-GC: Self-Governing Context for Long-Horizon LLM Agents

Long-horizon LLM agents accumulate tool results, files, plans, and user constraints that are too structured to be treated as a disposable text suffix. Current systems mostly rely on in-run heuristics such as chronological pruning and tool-output masking, or on final self-summary near a context limit. Heuristics are cheap but blind to future dependencies; summaries preserve narrative state but often hide exact evidence, locators, and editable artifacts. We present Self-GC, where GC denotes self-governing context while deliberately echoing garbage collection: the system does not merely reclaim unused tokens, but governs the lifecycle of agent context objects. Self-GC turns user turns, tool spans, and skill state into indexed objects; asks a side-channel planner to propose fold, mask, and prune actions; and lets the harness enforce recoverable sidecars, safe commit boundaries, and cache-aware commit. On a 33-session Hard Set, Self-GC prunes 43.95% of prefix tokens while leaving 84.85% of future continuations unaffected, compared with no-impact rates of 54.55% to 69.70% for heuristic baselines. On a 332-session production-derived suite, three planner backbones reach no-impact rates of 91.27% to 94.58%, while baselines remain at 77.71% to 87.46%. In production, an online account-level split reduces daytime average input tokens by 10% to 15%, with peak reductions near 20%. These results point to context management as runtime lifecycle control over indexed, recoverable objects rather than post hoc text cleanup.

arXiv:2606.27660v1cs.CV

MVPruner: 자율주행에서 다중 뷰 비전-언어 모델 가속을 위한 동적 토큰 가지치기

MVPruner: Dynamic Token Pruning for Accelerating Multi-view Vision-Language Models in Autonomous Driving

비전-언어 모델(VLM)은 자율주행에서 일반화와 해석 가능성을 향상시키지만, 특히 표준 다중 뷰 설정에서 긴 시각 토큰 시퀀스로 인해 효율성 문제를 겪는다. 기존 토큰 가지치기 방법은 고정된 가지치기 비율 할당과 정적 중요도 지표를 사용하여, 뷰 간 동적 중요도 차이와 추론 중 변화하는 정보 중요도를 무시한다. 우리의 분석에 따르면, 다중 뷰 VLM은 본질적으로 더 깊은 층에서 작업 관련 뷰 사전(prior)을 인코딩하며 동적 정보 요구를 보인다. 이러한 발견에 영감을 받아, 우리는 모델의 동적 정보 요구와 가지치기 동작을 정렬하는 2단계 적응형 토큰 가지치기 방법인 MVPruner를 제안한다. 첫 번째 단계는 각 뷰의 정보 다양성에 기반하여 가지치기 예산을 할당하고, 단계 전반에 걸쳐 일관된 기여를 하는 토큰을 유지하여 의미 표현 용량을 보장한다. 두 번째 단계는 작업 정렬을 보장하기 위해 지시(instruction) 텍스트의 안내에 따라 예산을 할당하고 토큰을 선택한다. 4개 벤치마크에서의 실험 결과는 우리 방법의 우수한 성능을 보여준다. 예를 들어, MVPruner를 장착한 DriveMM은 FLOPs 87.3% 감소, prefilling 단계에서 4.97배 속도 향상을 달성하면서 DriveLM 벤치마크에서 98.5% 정확도를 유지한다.