VIBRA: 합의 바리센터를 이용한 하위 호환 교차 모달 검색
VIBRA: Backward-Compatible Cross-Modal Retrieval with Consensus Barycenters
한국어 초록
하위 호환 검색은 새 인코더가 기존 모델이 이미 인코딩해 둔 갤러리를 질의할 수 있게 하여, 수십억 개의 항목을 다시 인코딩하지 않고도 교차 모달 검색 시스템을 업그레이드할 수 있게 한다. 기존의 호환 방법은 기존 질의에 맞춰 학습하여 기존 모델의 정확도 부근에 머물거나, 모든 질의마다 기존 인코더와 새 인코더를 모두 실행한다. 우리는 VIBRA를 제안한다. VIBRA는 기존 갤러리에서 관련도를 맞추고, 그 자체로 기존 공간의 질의가 되는 여러 뷰의 바리센터로 단일 모델의 오류를 교정하며, 새 인코더가 이 합의를 계승하도록 학습시켜 배포 시 존재하지 않는 모델도 모든 질의에 영향을 미치게 한다. 우리는 바리센터가 뷰들의 가장 어려운 비관련 항목이 서로 다를 때에 한하여 뷰들의 평균보다 마진을 얻음을 보이고, 이 이득 중 하나의 인코더가 도달할 수 있는 몫을 규명한다. CLIP, MetaCLIP, SigLIP2의 여섯 백본 사이의 다섯 가지 업그레이드에 대한 다섯 벤치마크에서, VIBRA는 50개 설정 모두에서 최고의 호환 방법이며, 가장 강한 기준선보다 Recall@1을 최대 5.6포인트, 기존 모델보다 최대 18.0포인트 향상시키면서 새 인코더의 지연 시간에는 1 ms 미만만 추가한다.
원문 초록
Backward-compatible retrieval enables a new encoder to query the gallery that an old model has already encoded, so that a cross-modal retrieval system can be upgraded without re-encoding billions of items. Existing compatible methods either fit the old query and stay near the accuracy of the old model, or run the old and the new encoder for every query. We propose VIBRA, which matches relevance on the old gallery, corrects the errors of a single model with the barycenter of several views, which is itself a query in the old space, and trains the new encoder to inherit this consensus, so that models absent at deployment still shape every query. We show that the barycenter gains margin over the average of its views exactly when their hardest irrelevant items differ, and we characterize the share of this gain that one encoder can reach. On five benchmarks with five upgrades among six CLIP, MetaCLIP and SigLIP2 backbones, VIBRA is the best compatible method in all 50 settings, improving Recall@1 by up to 5.6 points over the strongest baseline and by up to 18.0 points over the old model, while adding less than 1 ms to the latency of the new encoder.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23606v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.