PyTorchKR Papers

최신 논문

총 24편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.05663v4cs.CV

Keeping the Evidence Chain: Semantic Evidence Allocation for Training-Free Token Pruning in Video Temporal Grounding

Video Temporal Grounding (VTG) localizes the temporal boundaries of query-relevant moments in long, untrimmed videos, making video-language-model prohibitively expensive. While recent training-free token pruning has shown success in video question answering, naively applying these objectives to VTG causes drastic degradation, as VTG crucially depends on boundary-sensitive evidence and cross-frame reasoning chains. We therefore identify two VTG-specific pruning principles: evidence retention, which keeps query-critical patches especially around event boundaries, and connectivity strength, which preserves cross-frame connectivity for long-range evidence aggregation. Building on these insights, we propose SemVID, a training-free pruning framework that constructs a compact yet coherent token subset with complementary semantic roles. SemVID first allocates per-frame budgets by balancing query relevance and inter-frame variation to avoid over-pruned segments, and then selects three types of tokens: object tokens for diverse query-critical evidence, motion tokens to capture meaningful transitions and serve as cross-frame relays, and context tokens for scene continuity. Extensive experiments show that SemVID achieves a strong accuracy-efficiency trade-off, retaining up to 95.4% mIoU with only 12.5% visual tokens and delivering up to a 5.8x prefill speedup, consistently outperforming prior methods under the same budgets. Our code is available at https://github.com/JiaqiLi404/SemVID

arXiv:2603.11625v2cs.CV

MedPruner: 비전-언어 모델에서 효율적인 3D 의료 영상 이해를 위한 학습 없는 계층적 토큰 가지치기

MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models

3D 의료 영상을 처리하는 비전-언어 모델(VLM)의 대규모 토큰 중복 문제를 해결하기 위해, MedPruner는 슬라이스 간 앵커 기반 필터링과 동적 정보 핵심 선택을 결합한 학습 불필요(training-free) 계층적 토큰 프루닝 프레임워크를 제안한다. MedGemma-1.5 등의 모델에서 시각 토큰의 5% 미만만 유지하고도 원래 성능을 유지하거나 초과하는 결과를 세 가지 3D 의료 벤치마크에서 검증하였다.

arXiv:2606.24165v1cs.CV

다중모달 대규모 언어 모델에서 스펙트럴 진화 기반 토큰 가지치기

Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models

시각적 토큰 중복성을 줄이는 것은 크로스모달 추론 성능을 저하시키지 않으면서 다중모달 대규모 언어 모델(MLLM)을 가속화하는 데 매우 중요합니다. 기존의 토큰 가지치기 방법들은 일반적으로 어텐션 점수나 토큰 유사도와 같은 단일 층 신호에 의존하며, 이는 시각적 표현의 층 간 변환을 간과하고 다중모달 토큰 시퀀스에서 위치적 바이어스를 나타낼 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 크로스레이어 스펙트럴 진화(Cross-Layer Spectral Evolution, CLSE)에 기반한 학습 불필요 토큰 가지치기 프레임워크를 제안합니다. 단일 층의 특징 크기로 토큰 중요도를 측정하는 대신, CLSE는 주파수 영역에서 트랜스포머 층 전반에 걸쳐 토큰 표현이 어떻게 변화하는지를 정량화합니다. 이러한 변화는 고주파 구조적 세부 정보에서 저주파 의미적 추상화로의 전환을 반영합니다. 우리는 층 간 스펙트럴 재분배가 강한 토큰일수록 의미적으로 활성화될 가능성이 높으므로 보존되어야 한다는 것을 관찰합니다. 층 간 토큰 동역학을 모델링함으로써 CLSE는 위치적 바이어스를 완화하는 안정적인 중요도 기준을 제공합니다. 이미지 및 비디오 벤치마크 모두에서의 광범위한 실험을 통해, CLSE가 공격적인 토큰 감소 하에서 효율성과 정확도 간의 우수한 균형을 달성함을 보여줍니다. 여러 MLLM에 걸쳐, CLSE는 FLOPs, KV 캐시 메모리, 지연 시간을 줄이면서 경쟁력 있거나 향상된 성능을 유지합니다.

arXiv:2605.20950v2cs.CV

Focus-then-Context: 비전-언어 모델을 위한 주체 중심 점진적 시각 토큰 감소

Focus-then-Context: Subject-Centric Progressive Visual Token Reduction for Vision-Language Models

비전-언어 모델(VLMs)은 추론 시 대규모 시각 토큰 시퀀스로 인한 막대한 계산 비용이라는 병목 문제에 직면해 있습니다. 기존의 시각 토큰 감소 방법들은 이 부담을 완화하지만, 사용자 쿼리와 엄격하게 정렬된 고립된 시각적 주체만을 의도치 않게 보존함으로써 두드러진 주체와 그 맥락적 관계를 충분히 탐색하지 못합니다. 본 논문에서는 인간 시각 지각 시스템의 \textit{Focus-then-Context} 메커니즘을 모방하는 주체 중심 점진적 감소 패러다임인 SPpruner를 제안합니다. 구체적으로, 먼저 시각적 현저성과 의미적 관련성 간의 상호작용을 명시적으로 모델링하는 초점 식별 모듈을 구축합니다. 이를 통해 시각 입력의 고충실도 표현을 보장하기 위해 포괄적인 시각적 주체 스펙트럼을 발굴할 수 있습니다. 이어서 인접 영역에서 맥락적 단서를 집계하는 문맥 인식 구조 스캐닝 모듈을 개발합니다. 이를 통해 보존된 주체의 구조적 완전성을 유지하기 위한 전역적 관계 의존성을 효과적으로 복원할 수 있습니다. 광범위한 실험을 통해 본 패러다임이 최신 기법(SOTA)을 지속적으로 능가함을 입증하며, Qwen2.5-VL에서 시각 토큰의 22.2%만 유지하면서 최대 2.53배의 속도 향상을 달성하고, LLaVA에서는 단 0.6%의 미미한 정확도 하락으로 67%의 FLOPs 감소를 이루었습니다.