arXiv:1606.05705

Strategies for Searching Video Content with Text Queries or Video Examples

Shoou-I Yu, Yi Yang, Zhongwen Xu, Shicheng Xu, Deyu Meng, Zexi Mao, Zhigang Ma, Ming Lin, Xuanchong Li, Huan Li, Zhenzhong Lan, Lu Jiang, Alexander G. Hauptmann, Chuang Gan, Xingzhong Du 외 1명

제출 2016-06-17

원문 초록

The large number of user-generated videos uploaded on to the Internet everyday has led to many commercial video search engines, which mainly rely on text metadata for search. However, metadata is often lacking for user-generated videos, thus these videos are unsearchable by current search engines. Therefore, content-based video retrieval (CBVR) tackles this metadata-scarcity problem by directly analyzing the visual and audio streams of each video. CBVR encompasses multiple research topics, including low-level feature design, feature fusion, semantic detector training and video search/reranking. We present novel strategies in these topics to enhance CBVR in both accuracy and speed under different query inputs, including pure textual queries and query by video examples. Our proposed strategies have been incorporated into our submission for the TRECVID 2014 Multimedia Event Detection evaluation, where our system outperformed other submissions in both text queries and video example queries, thus demonstrating the effectiveness of our proposed approaches.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.32123v2cs.AI공통 태그 Retrieval, Reranking

READ-Bench: 시계열 진단을 위한 과거 사례 검색 벤치마크

READ-Bench: Benchmarking Historical Instance Retrieval for Time-Series Diagnosis

시계열 진단 시스템은 관련 과거 사례를 검색하는 방식에 거의 의존하지 않으며, 이를 활용하더라도 검색 성능은 다운스트림 예측을 통해서만 간접적으로 평가됩니다. 본 연구에서는 다변량 시계열을 중심으로 12개의 진단 데이터셋에 걸쳐 과거 사례 검색을 평가하는 벤치마크인 READ-Bench를 소개합니다. READ-Bench는 신호의 형태 대신 공유된 고장 또는 이벤트 유형을 기준으로 관련성을 정의하므로, 동일한 고장이라도 시각적으로 다른 파형은 관련 사례로 간주되는 반면, 서로 다른 고장의 유사하게 보이는 파형은 관련 사례로 간주되지 않습니다. 검색을 기본 검색기(base retriever)와 리랭커(reranker)의 결합으로 구성하여, 유의성 검정과 함께 지도 수준, 데이터 오염(pollution), 코퍼스 규모를 다양화하는 단일 프로토콜 하에서 고전적 거리 지표, 기호 기반 검색기, 자기지도학습 및 파운데이션 모델 임베더와 이들의 융합, 그리고 라벨 인지형 및 언어 모델 리랭커를 평가합니다. 공통의 채널 독립적 인터페이스에서 사전학습된 표현은 검색 단계 단독으로는 강력한 고전적 및 기호 기반 베이스라인 대비 통계적으로 유의미한 이점을 보이지 않았습니다. 결정적인 요인은 리랭킹 단계에서 해결된 사례에 대한 소량의 지도 학습, 즉 임베딩 공간에서 소수의 이웃 라벨을 전파하는 가우시안 프로세스(Gaussian-process) 리랭커의 활용이었으며, 이는 더 정교한 표현이나 언어 모델 추론보다 훨씬 더 큰 도움이 되었고 데이터 오염 및 전체 코퍼스 규모에서도 유효했습니다. 이러한 결과를 바탕으로, 본 연구는 상호 순위 융합(reciprocal-rank fusion)을 통해 정상 잔차 점수 기반 임베더와 동적 시간 워핑(dynamic time warping) 방식을 결합한 후 가우시안 프로세스 리랭커로 재순위화하여, 12개 데이터셋 전체에서 자체 검색 단계 대비 NDCG@10을 향상시켰으며(리랭킹으로 +0.11 향상), 가장 강력한 단일 기본 검색기 대비 +0.16의 향상을 달성했습니다.

arXiv:2609.26976v1cs.CL공통 태그 Retrieval, Reranking

학습된 컨텍스트 플래닝이 강력한 검색을 이기지 못할 때: 롱 컨텍스트 QA를 위한 플래닝, 라우팅, 리랭킹의 통제 연구

When Learned Context Planning Fails to Beat Strong Retrieval: A Controlled Study of Planning, Routing, and Reranking for Long-Context QA

학습된 컨텍스트 플래닝(context planning)은 답변 모델(answer model)이 추론하기 전에 증거 단위(evidence atoms)를 선택한다. 본 연구에서는 강력한 검색(retrieval), 라우팅(routing), 예산 제한 선택기(budgeted-selector), 리랭킹(reranking) 통제 조건을 적용한 후에도 이러한 학습된 선택이 롱 컨텍스트 객관식 QA 성능을 향상시키는지 검증한다. 주요 진단 실험은 Qwen2.5-7B-Instruct를 사용하여 LongBench-v2의 객관식 문항 503개 전체에 대해 수행한다. 플래너(planner)는 학습 문항 140개와 개발 문항 28개에서 결과 기반으로 선택된 트레이스(trace)를 이용해 SFT로 학습되었으며, 503개 문항 분석에 이 문항들이 포함되므로 부분적으로 트랜스덕티브(transductive)하다. 18k 문자 예산에서 앵커드 하이브리드 검색(anchored hybrid retrieval)은 36.18%의 정확도를, BM25는 35.98%를 달성한 반면, 플래너 기반 직접 방식 중 최고 성능은 34.19%였다. 사용하지 않은 152개 문항의 테스트 분할에서도 앵커드 하이브리드가 더 높은 성능을 보였다(42.11% 대 36.84%). 누수 방지(leakage-safe) 라우터는 큰 오라클(oracle) 격차를 실제 성능으로 전환하지 못한다. 예산이 빠듯한 조건에서 최고의 플래너는 6k에서 0.40%p 앞서는 데 그치고 9k에서는 뒤처지며, 플래너 기반 리랭킹은 6k에서 +1.79%p의 추정치를 보이나 쌍체(paired) 신뢰구간이 0을 포함하고 9k에서는 통제 조건과 동률이다. 패킹 순서(packing-order) 및 점수 평탄도(score-flatness) 분석에서는 안정적인 메커니즘을 확인하지 못했다. 이 설정에서 학습된 플래닝은 강력한 검색을 대체하는 것이 아니라 약한 관련성 신호에 그친다.

arXiv:2609.27953v1cs.IR공통 태그 Retrieval, Reranking

LLM 추천 리랭킹의 재현율 한계

The Recall Ceiling of LLM Recommendation Reranking

일부 LLM 기반 추천 리랭커는 정답 아이템이 평가 대상 집합에 반드시 존재하도록 보장하는 오라클 프로토콜로 평가된다. 이는 정답 아이템을 후보 목록에 주입하거나 샘플링된 네거티브와 비교하여 점수를 매기는 방식으로 이루어진다. 세 개의 주요 Amazon 데이터셋에서 이 프로토콜이 현실적인 NDCG@10을 92~95% 과대평가함을 보인다. 그 원인은 재현율 한계(recall ceiling)에 있다. 세 개 도메인의 여덟 개 데이터셋에 걸쳐, 현실적인 검색(retrieval)은 $K=100$에서 관련 아이템의 2~19%만을 포착하며, 이는 모든 폐쇄 후보(closed-candidate) 리랭커의 top-$k$ NDCG에 결정론적 상한을 부과한다. 리브-원-아웃(leave-one-out) 평가에서는 $\mathbb{E}[\mathrm{NDCG}@k] \leq \mathrm{Recall}@|W_\pi|$가 성립하며, 여기서 $W_\pi$는 리랭커의 후보 윈도우이다. 현실적인 검색 조건에서는 우리의 주요 Amazon 데이터셋에서 테스트한 어떤 최적화 전략도 협업 필터링(CF) 기준선을 유의미하게 개선하지 못한다. 이러한 전략에는 프롬프트 엔지니어링, 168배 매개변수 범위에 걸친 모델 스케일링, 순차 모델, 지도 학습 기반 신경망 리랭커, LoRA 미세조정, 하이브리드 검색, 점수 인지(score-aware) 프롬프팅, LLM+CF 융합이 포함된다. 텍스트 인지(text-aware) 검색은 한 데이터셋에서 재현율을 높이지만 종단 간(end-to-end) NDCG를 개선하지는 못하며, 상위 단계의 CF 점수를 제공하면 주로 LLM이 CF의 순서를 그대로 재현하게 된다. 따라서 우리는 재현율 인지 평가 프로토콜(Recall-Aware Evaluation Protocol, RAEP)을 제안한다. 먼저 검색 재현율 구간(regime)을 분류한 뒤, 상한이 의미 있는 차별화를 허용하는 경우에 한해 리랭킹을 평가하는 것이다. 여기서 측정된 낮은 재현율 구간에서는 리랭커의 정교함을 높이는 것보다 검색을 개선하는 것이 더 중요하다. 다만 이러한 순서가 더 높은 재현율, 더 풍부한 특징, 또는 온라인 피드백을 갖춘 프로덕션 시스템에서도 반드시 성립하는 것은 아니다.

arXiv:2609.28437v1cs.CV공통 태그 Retrieval, Video Retrieval

MultiVENT-Raw: 원시 동영상 검색 및 추론 벤치마크

MultiVENT-Raw: A Benchmark for Retrieval and Reasoning over Raw Videos

온라인 정보는 점점 더 동영상 형식으로 소비되고 있다. 이 중 상당 부분은 원시 동영상(raw video) 형태로, 휴대폰·핸드헬드 카메라·CCTV로 촬영된 연속 영상이 소셜 미디어 플랫폼과 콘텐츠 공유 서비스에 바로 업로드되는 것이다. 전문적이거나 아마추어가 편집한 영상은 대본화된 발화, 자막(chyron), 그래픽, 메타데이터 등 주제를 맥락화하는 요소를 담는 경우가 많지만, 원시 동영상에는 일반적으로 이런 것이 없어 정보 검색(information retrieval)과 기계 이해(machine understanding)에 훨씬 더 어려운 매체가 된다. 이 분야의 진전을 돕기 위해 우리는 MultiVENT-Raw를 공개한다. 이는 주로 원시 동영상 약 12만 개(총 5,300시간 이상)로 이루어진 다국어 컬렉션으로, 130개의 이벤트와 222개의 이벤트 중심 쿼리와 짝지어져 있으며, 관련 동영상에 대한 사람이标注한 관련성 판정과 사람이 추출한 핵심 사실을 포함한다. MultiVENT-Raw는 검색(retrieval) 과제—쿼리 이벤트와 관련된 컬렉션 내 동영상을 식별하는 것—와 생성(generation) 과제—이벤트 관련 동영상을 대상 사용자를 위한 일관된 보고서로 요약하는 것—를 모두 지원한다. MultiVENT-Raw에서 강력한 베이스라인을 벤치마킹한 결과, 최신 멀티모달 모델 중 일부에게도 두 과제 모두 여전히 도전적임을 보였다.

arXiv:2607.24165v2cs.CV공통 태그 Retrieval, Reranking

현재 검색기(Retriever)는 모든 증거를 포괄하는가? 연합적 교차 페이지 검색에 대한 통제 연구

Do Current Retrievers Cover All the Evidence? A Controlled Study of Conjunctive Cross-Page Retrieval

다중 조건 요청과 관련된 긴 문서를 찾는 것과, 해당 문서가 요청된 모든 증거 조각을 포함한다는 것을 확인하는 것은 동일하지 않다. 우리는 연합적(conjunctive) 문서 검색에서 이 간극을 연구한다. 여기서는 하나의 문서 내 서로 다른 페이지에서 두 또는 세 개의 명시적 조건이 각각 뒷받침되어야 한다. n-Clue를 통제된 측정 도구로 사용한다: 2,021개 문서에 대한 1,000개 쿼리에서 모든 조건을 만족하는 gold를 일부 조건만 만족하는 자연 발생 문서와 짝짓고, complete-first 성공은 top-10 gold가 공개된 모든 부분집합 qrel보다 앞서야 한다. 70가지 구성에 걸쳐 조건별 분해(condition-wise decomposition)는 두 dense backbone을 6.8–7.3점 향상시키고 어휘–시각 융합(lexical–visual fusion)은 8.7점을 추가하는 반면, 네 가지 범용 reranker는 모두 Gold-NDCG를 감소시킨다. 이러한 경향은 4-source stress set에서도 재현된다. 하나의 dense 계열을 0.6B에서 8B로 스케일링해도 complete-first 성공률은 0.0점 변화에 불과하다. 가장 강력한 하이브리드는 결과적 간극을 보여준다. 쿼리의 81.1%에서 gold를 찾지만 complete-first 성공은 35.8%에 불과하며, 이 간극은 조건 수, 대상 길이, 후보 밀도, 쿼리 렌더링, 4-source stress set 전반에 걸쳐 지속된다. 마지막으로 page-aware visual system은 모든 조건에 대한 저장된 지원을 쿼리의 5.1–5.3%에서만 표면화한다. 이 결과는 gold 발견만이 아니라 조건 포괄(condition coverage)가 핵심 병목임을 밝힌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.