PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01785v1cs.CV

VETO: 비전-언어 모델을 위한 비디오 효율적 토큰 최적화

VETO: Video Efficient Token Optimization for Vision Language Models

비전-언어 모델(VLM)로 긴 비디오를 처리하는 것은 시각적 토큰(token)의 이차(quadratic) 비용으로 인해 병목 현상이 발생하여, 장시간 추론(inference)의 비용이 매우 높아집니다. 단일 축 압축 방식들이 이를 완화하긴 하지만, 공간적 및 시간적 중복성을 독립적으로 다루기 때문에 뚜렷한 효율성의 한계에 부딪힙니다. 본 논문에서는 이중 축 압축을 통해 이러한 병목 현상을 해소하는 학습(training) 선택형 플러그인인 VETO(비전-언어 모델을 위한 비디오 효율적 토큰 최적화)를 제시합니다: (i) 최적 수송(optimal-transport)에서 영감을 얻은 매칭을 통해 각 프레임 내에서 의미론적으로 유사한 토큰들을 병합하는 프레임 내(intra-frame) 압축기, 그리고 (ii) 시간적으로 중복되는 프레임을 식별하여 병합하는 프레임 간(inter-frame) 압축기입니다. 핵심적인 설계 통찰은 계층적 순서화입니다. 공간적 차원을 먼저 압축함으로써 VETO는 후속되는 전역적 시간 매칭 비용을 대폭 절감하여 단일 축 접근 방식의 효율성 한계를 우회하며, 최신 완전 융합 어텐션(fully-fused attention) 인프라에서 이러한 이점이 더욱 커집니다. 실증적으로 VETO는 정확도를 유지하거나 향상시키면서 최대 45% 더 빠른 추론을 달성합니다(예: LLaVA-OneVision-7B). 극단적인 토큰 결핍 상태(10% 예산)에서 VETO는 55.7%의 정확도를 기록하여 VFlowOpt(54.9%), VisionZip(52.6%), FastV(47.9%)보다 뛰어난 성능을 보입니다. 또한 LLaVA-OneVision, InternVL-2.5, LongVA 전반에 걸친 보편적 적용 가능성을 입증하며, 모든 경우에서 제로샷(zero-shot) 정확도가 유지되거나 향상됨을 확인했습니다.

arXiv:2607.09080v2cs.CV

GeoTrace: 비디오 대규모 언어 모델을 위한 기하학 인식 궤적 토큰 압축

GeoTrace: Geometry-Aware Trajectory Token Compression for Video Large Language Models

비디오 대규모 언어 모델(Video LLM)은 비디오 이해에서 강력한 성능을 보여왔으나, 많은 수의 시각적 토큰으로 인해 효율성이 여전히 제한된다. 기존의 비디오 토큰 압축 방법들은 대체로 프레임 단위의 현저성(saliency) 또는 휴리스틱 토큰 병합에 의존하는데, 이는 국소적으로 두드러진 영역에 과도하게 집중하거나 모호한 융합 특징을 생성할 수 있다. 이러한 문제를 해결하기 위해, 우리는 GeoTrace를 제안한다. GeoTrace는 별도의 학습이 필요 없는(training-free) 시공간 토큰 압축 프레임워크로, 비디오 증거를 정확한 스켈레톤 토큰과 추적 가능한 잔차 이벤트 토큰으로 분해한다. 구체적으로, Contextual Farthest-Point Anchoring(CFPA)은 두드러지고 컨텍스트에 일관되며 높은 커버리지를 가진 스켈레톤 토큰을 보존하고, Trajectory-Constrained Residual Condensation(TCRC)은 일대일 시간적 궤적과 제약된 근방 다양체(near-manifold) 응축을 통해 잔차 토큰을 압축하여 모호성이 감소된 추적 가능한 이벤트 토큰을 생성한다. 우리는 GeoTrace를 네 가지 비디오 이해 벤치마크에서 네 가지 Video LLM에 대해 평가하였으며, 결과는 다양한 모델 아키텍처와 시나리오에 걸쳐 그 효과성과 일반화 능력을 입증한다. LLaVA-OneVision에서 시각적 토큰의 단 10%만 유지한 상태로, GeoTrace는 기본 성능의 99.1%를 보존하면서 \(12.99\times\) TFLOPs 감소를 달성한다. 종합적으로, GeoTrace는 효율적이고 견고한 Video LLM 추론을 위한 간결하고 추적 가능한 토큰 표현을 제공한다. 코드는 https://github.com/guohuan-xie/GeoTrace.git 에서 확인할 수 있다.