유사도를 넘어서: 학습이 필요 없는 합성 비디오 검색을 위한 효율적인 백본으로서의 파운데이션 모델
Beyond Similarity: Foundation Models as an Efficient Backbone for Training-Free Composed Video Retrieval
한국어 초록
합성 비디오 검색(Composed Video Retrieval, CoVR)은 소스 클립에 대한 자연어 수정 지시를 구현한 타깃 비디오를 갤러리에서 찾는 태스크이다. 그러나 갤러리 규모에서는 근본적인 긴장이 발생한다. 컴팩트한 임베딩은 효율적이고 재사용 가능한 검색을 가능하게 하지만, 세밀한 비디오 추론이 필요한 순간적인 동작, 상태 변화, 미묘한 제약 조건을 놓칠 수 있다. 반면 대규모 멀티모달 모델을 모든 쿼리에 일률적으로 적용하면 확장성이 희생된다. 이러한 한계를 해결하기 위해, 우리는 고정된(frozen) 파운데이션 모델이 서로 보완적인 역할을 맡고, 추론 깊이를 쿼리의 난이도에 맞추어 조절해야 한다고 제안한다. 이러한 전제를 바탕으로, 학습이 필요 없는 \methodexpansion{}을 위한 프레임워크인 \methodname{}을 소개한다. 구체적으로, 먼저 합성 쿼리 임베딩으로 재사용 가능한 비디오 전용 갤러리 표현을 검색하고, 불확실한 쿼리는 제한된 범위의 재순위화와 후보 확장을 거치며, 모호한 수정 지시는 타깃 설명 생성을 유발하고, 상위 후보들이 근소하게 경합하는 경우에만 멀티모달 검증 단계에 도달한다. 이러한 역할을 뒷받침하기 위해 프레임 선택, 공간 해상도, 시간 단서는 각 단계에 맞게 조정된다. 전체 타깃 갤러리를 대상으로 한 평가에서, 본 방법은 학습이 필요 없는 접근법 중 최고 수준(state-of-the-art)의 성능을 달성하였으며, Dense-WebVid-CoVR와 CoVR-R에서 각각 R@1 89.55와 93.43을 기록했다(가장 가까운 비교 대상 대비 각각 +35% 이상, +25% 이상의 절대 격차). 이러한 결과는 파운데이션 모델의 역량을 적응적으로 조율하면 태스크별 학습 없이도 확장 가능한 검색과 세밀한 추론을 결합할 수 있음을 보여준다. 소스 코드와 관련 가이드라인은 https://github.com/demidovd98/CoVRAGE 에서 확인할 수 있다.
원문 초록
Composed video retrieval (CoVR) searches a gallery for the target video that realizes a natural-language modification of a source clip. However, at gallery scale, this creates a fundamental tension: compact embeddings enable efficient, reusable search but can miss the transient actions, state changes, and subtle constraints that demand fine-grained video reasoning, whereas applying large multimodal models uniformly sacrifices scalability. To address these limitations, we propose that frozen foundation models should instead occupy complementary roles, with inference depth adapted to query difficulty. Based on this premise, we introduce \methodname{}, a framework for training-free \methodexpansion{}. Specifically, a composed-query embedding first searches reusable video-only gallery representations; uncertain queries undergo bounded reranking and candidate expansion; ambiguous edits trigger target-description generation; and only close leading candidates reach multimodal verification. To support these roles, frame selection, spatial resolution, and time cues are adapted to each stage. Across complete target-gallery evaluations, our method reaches state-of-the-art performance among training-free approaches, with 89.55 and 93.43 R@1 on Dense-WebVid-CoVR and CoVR-R, respectively (with more than +35\% and +25\% absolute margins to the closest counterpart). These results show that adaptively orchestrating foundation-model capabilities can combine scalable retrieval with fine-grained reasoning without task-specific training. The source code and all relevant guidelines are available on https://github.com/demidovd98/CoVRAGE.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.10008v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.