PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07032v1cs.CV

전에 본 적 없는: 일관된 비디오 출처 데이터셋으로 진정한 제로샷 구성 이미지 검색 벤치마킹

Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

제로샷 구성 이미지 검색(Zero-Shot Composed Image Retrieval, ZS-CIR)은 학습 샘플 없이 참조 이미지와 상대적 캡션으로 구성된 쿼리를 기반으로 목표 이미지를 검색하는 것을 목표로 한다. 기존 ZS-CIR 데이터셋은 노이즈가 많은 이미지 출처로 인해 참조 이미지와 목표 이미지 사이에 완전한 무관성이 발생하는 문제가 있으며, CLIP과 같은 모델이 학습에 사용한 공개 이미지 데이터셋을 활용하기 때문에 진정한 제로샷 시나리오를 달성하지 못한다. 이러한 과제를 해결하기 위해, 우리는 ZS-CIR을 위한 새로운 벤치마크인 ZeroSight를 제안한다. 이 벤치마크는 비디오에서 추출한 일관된 참조-목표 쌍으로 구성된 데이터셋, 데이터 구축 파이프라인, 그리고 다수의 양성 및 음성 목표 이미지의 순위를 고려하는 평가 방법을 포함한다. 단일 비디오에서 프레임을 추출하고 LLM 보조 방법으로 상대적 캡션을 생성함으로써 시각적·의미적으로 일관된 참조-목표 쌍을 보장한다. 진정한 제로샷 시나리오를 보장하기 위해 2022년 3월 31일 이후에 공개된 비디오 데이터를 사용하여 CLIP의 사전학습 데이터에 포함되지 않았음을 보장한다. 또한 학습 없이 MLLM 기반 방법인 SC4CIR(Symmetric Consistency for CIR)을 제안하며, 이는 3가지 대칭 일관성 검사를 통해 어려운 음성 목표를 효과적으로 식별할 수 있다. 이 방법은 플러그 앤 플레이 방식으로 다양한 CIR 방법과 원활하게 통합되며 성능을 크게 향상시킨다. 27개 방법에 대한 실험 결과, 현재 ZS-CIR 데이터셋과 평가 지표가 검색 성능을 부풀려 CIR 방법의 능력을 과장하고 있음을 보여준다. 우리의 벤치마크와 모델은 https://github.com/sotayang/ZeroSight 에서 접근할 수 있다.