PyTorchKR Papers

최신 논문

총 461편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.20190v2cs.CV

CoVR-R: 추론 인식 합성 비디오 검색

CoVR-R:Reason-Aware Composed Video Retrieval

합성 비디오 검색(Composed Video Retrieval, CoVR)은 참조 비디오와 텍스트 수정이 주어졌을 때 대상 비디오를 찾는 것을 목표로 합니다. 기존 연구는 수정 텍스트가 시각적 변화를 완전히 명시한다고 가정하여, 편집에서 발생하는 후행 효과(after-effects)와 암시적 결과(implicit consequences, 예: 움직임, 상태 전이, 시점 또는 지속 시간 단서)를 간과해 왔습니다. 우리는 성공적인 CoVR을 위해서는 이러한 후행 효과에 대한 추론(reasoning)이 필요하다고 주장합니다. 우리는 대규모 멀티모달 모델을 활용하여 (i) 편집에 의해 암시되는 인과적 및 시간적 결과를 추론하고, (ii) 작업별 파인튜닝(task-specific fine-tuning) 없이 결과적으로 생성된 추론 쿼리를 후보 비디오와 정렬하는 추론 우선(reasoning-first), 제로샷(zero-shot) 접근 방식을 소개합니다. CoVR에서의 추론을 평가하기 위해, 우리는 CoVR-Reason이라는 벤치마크(benchmark)도 제안합니다. 이 벤치마크는 각 (참조, 편집, 대상) 트리플렛(triplet)에 구조화된 내부 추론 흔적(traces)과 키워드 매칭이 아닌 후행 효과 예측이 필요한 어려운 방해 요소(distractors)를 짝으로 제공합니다. 실험 결과, 우리의 제로샷 방법은 K에서의 재현율(recall at K) 지표에서 강력한 검색 기준선(baselines)을 능가하며, 특히 암시적 효과(implicit-effect) 하위 집합에서 뛰어난 성과를 보임을 확인했습니다. 자동 및 인간 분석 결과, 우리의 검색 결과에서 더 높은 단계 일관성(step consistency)과 효과 사실성(effect factuality)이 확인되었습니다. 우리의 연구 결과는 범용 멀티모달 모델에 추론을 통합하여 인과적 및 시간적 후행 효과를 명시적으로 고려함으로써 효과적인 CoVR을 가능하게 한다는 것을 보여줍니다. 이는 작업별 감독(supervision)에 대한 의존도를 줄이고, 어려운 암시적 효과 사례로의 일반화를 개선하며, 검색 결과의 해석 가능성을 향상시킵니다. 이러한 결과는 설명 가능한 비디오 검색을 위한 확장 가능하고 원칙에 기반한 프레임워크를 향한 길을 제시합니다. 모델, 코드, 벤치마크는 https://github.com/mbzuai-oryx/CoVR-R에서 이용 가능합니다.