텍스트-비디오 검색의 성능 정체 이해하기: 포괄적인 실증 및 언어학적 분석
Understanding the Performance Plateau in Text-to-Video Retrieval: A Comprehensive Empirical and Linguistic Analysis
한국어 초록
텍스트-비디오 검색은 사용자가 자연어 질의로 관련 비디오 콘텐츠를 찾을 수 있게 해 주며, 온라인 비디오의 급격한 확산과 함께 중요성이 점점 커지고 있는 과제이다. 지난 6년간 듀얼 인코더, 어텐션 기반 모델, 멀티모달 융합 접근법 등 수많은 방법이 연구되었으나, 모델 동작, 데이터셋의 영향, 질의 난이도에 관한 근본적인 질문은 여전히 남아 있다. 본 연구에서는 통합된 전처리 및 평가 프레임워크 아래에서 널리 사용되는 3개 데이터셋에 걸쳐 14개의 최신 검색 방법을 평가한다. 우리는 길이, 명확성, 의미 범주, 행동 대 장면의 균형을 포함한 캡션 특성을 분석하고 이를 모델 성능과 연결한다. 연구 결과, 단일 행동이나 색상 속성을 묘사하는 것과 같이 짧고 명확하며 단순한 캡션은 더 높은 재현율을 보인 반면, 복잡한 사건, 다단계 활동, 세밀한 장면 묘사는 기존의 모든 모델에게 여전히 어려운 것으로 나타났다. 어텐션 기반 아키텍처는 시간적으로 의존적이거나 다단계인 질의를 더 잘 처리하는 반면, 듀얼 인코더와 멀티모달 융합 모델은 주로 더 단순하거나 단일 범주의 캡션에서 좋은 성능을 보인다. 데이터셋 간 일반화는 더 크고 다양한 캡션 집합에서 향상되지만, 생성된 캡션이 검색 정확도를 일관되게 높이지는 않는다. 종합하면, 본 연구의 결과는 핵심적인 데이터셋 요인, 벤치마크의 과제, 질의 내용과 모델 아키텍처 간의 상호작용을 부각하며, 더 효과적인 텍스트-비디오 검색 시스템을 개발하기 위한 지침을 제공한다.
원문 초록
Text-to-video retrieval enables users to find relevant video content using natural language queries, a task that has grown increasingly important with the rapid expansion of online video. Over the past six years, research has produced numerous methods, such as dual encoders, attention-driven models, and multimodal fusion approaches; however, fundamental questions remain about model behavior, dataset influence, and query difficulty. In this work, we evaluate 14 state-of-the-art retrieval methods across 3 widely used datasets under a unified preprocessing and evaluation framework. We analyze caption characteristics, including length, clarity, semantic category, and Action vs. Scene balance, and link these to model performance. Our results show that short, clear, and simple captions, such as those describing single actions or color attributes, achieve higher recall, while complex events, multi-step activities, or fine-grained scene descriptions remain challenging for all existing models. Attention-driven architectures better handle temporally dependent or multi-step queries, whereas dual-encoder and multimodal fusion models perform well primarily on simpler or single-category captions. Cross-dataset generalization improves with larger, more diverse caption sets, but generative captions do not consistently enhance retrieval accuracy. Overall, our findings highlight key dataset factors, benchmark challenges, and the interplay between query content and model architecture, providing guidance for developing more effective text-to-video retrieval systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.00826v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.