arXiv:2611.22131v1 cs.AI

LoCaR: 가중치를 고정한 비전-언어 모델을 사용한 영역 중심 캔버스 검색

LoCaR: Localized Canvas Retrieval With Frozen Vision-Language Model

Rahim Hossain, Dipanwita Saha, Ashirbad Mishra, Xinxin Shu, Svetlana Strunjas, Binbin Li

제출 2026-11-18

한국어 초록

이미지 전체를 하나의 임베딩으로 표현하면 특정 영역을 묻는 질의에서 관련 이미지를 구별해 주는 작은 객체와 국소 속성이 충분히 표현되지 않을 수 있다. LoCaR는 가중치를 고정한 비전-언어 모델로 별도 학습 없이 영역 중심 텍스트-이미지 검색을 수행하는 프레임워크다. LoCaR는 SAM2로 객체에 초점을 둔 독립적인 영역 후보를 만들고, 가중치를 고정한 시각 인코더로 각 영역을 따로 인코딩하여 더 국소적인 표현을 얻는다. 또한 기존 인코더를 갱신하지 않고 텍스트와 영역이 짝지어진 예시를 사용하는 선택적 잔차 보정 방식인 짝지은 지원 예시 기반 적응을 연구한다. 더 작고 식별하기 어려운 대상을 가리키는 질의의 검색 성능을 평가하기 위해 Visual Genome에서 파생한 벤치마크 LOCFG도 소개한다. 여러 비전-언어 백본에서 성능 향상의 주된 요인은 영역 표현 자체의 개선이었다.

원문 초록

Whole image embeddings can under represent small objects and local attributes that distinguish relevant images for localized queries. We present LoCaR, a training free framework for localized text to image retrieval with frozen vision language models. LoCaR constructs and utilizes independent proposals (SAM2) focusing on the object so as to get a more localized representation that independently encodes each region using the frozen visual encoder. We further study paired-support adaptation as an optional residual that uses matched text region exemplars without updating the underlying encoders. We also introduce LOCFG, a Visual Genome derived benchmark designed to evaluate localized retrieval for smaller and more challenging referents. Across several vision language backbones, our results show that improving the region representation itself is the main source of gain.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22131v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.