APS: 장편 비디오 이해를 위한 적응형 분할 기반 프레임 선택
APS: Adaptive Partitioning-Based Frame Selection for Long Video Understanding
한국어 초록
대규모 비전-언어 모델(LVLM)의 최근 발전으로 비디오 이해 능력이 크게 향상되었으나, 방대한 시각 입력으로 인한 막대한 계산 비용 때문에 장편 비디오 처리는 여전히 어렵다. 프레임 선택은 효율적인 대안이지만, 기존의 많은 영역 기반 방법은 고정되거나 사전 정의된 시간 분할에 의존하므로 최적이 아닌 시간 영역이 형성되어 이후의 예산 할당과 프레임 선택을 저해할 수 있다. 본 연구에서는 질의-프레임 관련도의 국소적 변화에 맞추어 시간 분할을 조정하는, 학습이 필요 없는 프레임워크인 적응형 분할 기반 프레임 선택(APS)을 제안한다. 구체적으로 APS는 시간 분할을 복잡도 정규화 적합 문제로 정식화하고, 동적 계획법을 통해 분할 경계와 국소 모델을 함께 최적화한다. 이렇게 얻은 적응형 시간 분할은 질의 관련도와 시간 범위에 따라 프레임 예산 할당을 안내하여, 제한된 시각 예산 하에서도 정보량이 많은 프레임을 선택할 수 있게 한다. Video-MME, MLVU, LongVideoBench에 대한 광범위한 실험에서 APS는 다양한 LVLM 백본 전반에서 일관되게 성능을 향상시켰으며, 비교 방법 중 균일 샘플링 대비 가장 높은 평균 향상을 달성하였다. 추가 분석을 통해 적응형 분할의 효과를 검증하고, 모델 규모, 유사도 인코더, 고급 LVLM에 걸친 일반화 가능성을 확인하였다.
원문 초록
Recent advances in large vision-language models (LVLMs) have significantly improved video understanding capabilities, yet processing long videos remains challenging due to the substantial computational cost of extensive visual inputs. Frame selection offers an efficient alternative, but many existing region-based methods rely on fixed or predefined temporal partitions, which may result in suboptimal temporal regions, compromising subsequent budget allocation and frame selection. In this work, we propose Adaptive Partitioning-Based Frame Selection (APS), a training-free framework that adapts temporal partitions to local variations in query-frame relevance. Specifically, APS formulates temporal partitioning as a complexity-regularized fitting problem, jointly optimizing partition boundaries and local models through dynamic programming. The resulting adaptive temporal partitions guide frame budget allocation based on query relevance and temporal extent, enabling informative frame selection under limited visual budgets. Extensive experiments on Video-MME, MLVU, and LongVideoBench demonstrate that APS consistently improves performance across diverse LVLM backbones, achieving the highest average gains over uniform sampling among competing methods. Further analyses validate the effectiveness of adaptive partitioning and demonstrate its generalizability across model scales, similarity encoders, and advanced LVLMs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24079v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.