arXiv:2309.09982 공식 코드 · Papers with Code

Introspective Deep Metric Learning

Chengkun Wang, Wenzhao Zheng, Zheng Zhu, Jie zhou, Jiwen Lu

제출 2023-09-11

원문 초록

This paper proposes an introspective deep metric learning (IDML) framework for uncertainty-aware comparisons of images. Conventional deep metric learning methods focus on learning a discriminative embedding to describe the semantic features of images, which ignore the existence of uncertainty in each image resulting from noise or semantic ambiguity. Training without awareness of these uncertainties causes the model to overfit the annotated labels during training and produce unsatisfactory judgments during inference. Motivated by this, we argue that a good similarity model should consider the semantic discrepancies with awareness of the uncertainty to better deal with ambiguous images for more robust training. To achieve this, we propose to represent an image using not only a semantic embedding but also an accompanying uncertainty embedding, which describes the semantic characteristics and ambiguity of an image, respectively. We further propose an introspective similarity metric to make similarity judgments between images considering both their semantic differences and ambiguities. The gradient analysis of the proposed metric shows that it enables the model to learn at an adaptive and slower pace to deal with the uncertainty during training. The proposed IDML framework improves the performance of deep metric learning through uncertainty modeling and attains state-of-the-art results on the widely used CUB-200-2011, Cars196, and Stanford Online Products datasets for image retrieval and clustering. We further provide an in-depth analysis of our framework to demonstrate the effectiveness and reliability of IDML. Code: https://github.com/wzzheng/IDML.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2512.04888v5cs.CV공통 태그 Metric Learning, Image Retrieval

ZeBROD: 재학습 없는 인식 및 객체 검출 프레임워크

ZeBROD: Zero-Retraining Based Recognition and Object Detection Framework

객체 검출(object detection)은 컴퓨터 비전(CV) 분야에서 핵심적인 과제이며 수많은 영역에서 활용되고 있다. 그럼에도 불구하고 객체 검출은 치명적 망각(catastrophic forgetting) 문제에 지속적으로 직면하고 있다. 새로운 상품이 도입될 때마다 모델은 신규 상품 데이터셋뿐만 아니라 기존 전체 데이터셋까지 활용하여 재학습되어야 한다. 그 결과 모델 학습 비용이 증가하고 상당한 시간이 소모되는 것은 명백하다. 특히 소매점 결제와 같은 여러 분야에서는 신규 상품의 잦은 출시가 큰 난제로 작용한다. 본 연구에서는 객체 위치 추정을 위한 YOLO11n과 특징 추출 및 거리 학습(metric learning)을 위한 DeiT 및 Proxy Anchor Loss를 결합하여 치명적 망각 문제를 해결하도록 설계된 방법론인 ZeBROD(Zero-Retraining Based Recognition and Object Detection)를 소개한다. 분류를 위해 대상 상품의 임베딩 특징과 Qdrant 벡터 데이터베이스 내 임베딩 특징 간의 코사인 유사도를 활용한다. 140개 상품을 취급하는 소매점에서 수행된 사례 연구에서, 실험 결과는 제안된 프레임워크가 신규 상품과 기존 상품의 검출 모두에서 고무적인 정확도를 달성함을 보여준다. 아울러 재학습을 수행하지 않으므로 학습 소요 시간 차이가 현저하다. 우리는 기존 객체 검출 접근 방식과 비교하여 거의 3배에 달하는 학습 시간 효율성을 달성했다. 이러한 효율성은 상품 데이터베이스에 새로운 상품이 추가될수록 더욱 증대된다. 엣지 기기에서 여러 상품이 포함된 이미지당 평균 추론 시간은 580ms로 나타나 제안된 프레임워크의 실용적 활용 타당성을 검증한다.

arXiv:2609.27142v1cs.CV공통 태그 Metric Learning, Image Retrieval

MINER: 고정 이중 인코더를 이용한 희귀 객체 검색을 위한 다중 크롭 추론 시 강화

MINER: Multi-crop INference-time Enhancement for Rare-Object Retrieval with Frozen Dual Encoders

고정 이중 인코더를 사용한 텍스트-이미지 검색은, 쿼리가 어수선한 장면 속에서 작고 시각적으로 부차적인 객체를 가리킬 때 성능이 저하된다. 단일 전역 이미지 임베딩은 국소적인 시각적 증거를 과소하게 표현한다. 본 논문은 MINER를 제안한다. MINER는 추가 학습 없이 동작하는 추론 프레임워크로, 고정 이중 인코더의 전역 이미지 임베딩을 소규모 영역 수준 임베딩 뱅크와 hubness 보정 유사도 재점수화로 보강하여, 전역 풀링이 과소 가중하는 시각적 증거를 되살린다. 이 설정을 평가하기 위해 Flickr30K와 MS COCO의 고혼잡도 부분집합으로 구성하고, 각 이미지를 단일 저현저성(low-salience) 객체를 지칭하도록 재캡션한 벤치마크 ROCS를 도입한다. CLIP, SigLIP, SigLIP 2에 대한 실험에서 MINER는 ROCS와 표준 split 모두에서 모든 백본에서 검색 성능을 향상시킨다. 분석 결과 이러한 이득은 정밀한 crop 배치보다 주로 더 넓은 공간적 커버리지에서 기인하며, 고정 표현에서 국소적 증거를 회복하는 단순하고 일반적인 방법을 보여준다. Code: https://github.com/aalquwayfili/MINER. Dataset: https://huggingface.co/datasets/aalquwayfili/ROCS.

arXiv:2601.21262v4cs.CL공통 태그 Metric Learning, Image Retrieval

CausalEmbed: 시각 문서 임베딩을 위한 잠재 공간에서의 자기회귀 멀티벡터 생성

CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding

멀티모달 대규모 언어 모델(MLLM)은 고품질 멀티벡터 임베딩을 생성함으로써 시각 문서 검색(Visual Document Retrieval, VDR)에서 놀라운 잠재력을 보여 왔지만, 한 페이지를 수천 개의 시각 토큰으로 표현하는 데서 발생하는 막대한 저장 오버헤드가 실제 응용에서의 활용성을 제한한다. 이러한 문제를 해결하기 위해 우리는 멀티벡터 임베딩을 구성하는 자기회귀 생성 방식인 CausalEmbed를 제안한다. CausalEmbed는 대조 학습 과정에서 반복적 마진 손실(iterative margin loss)을 도입하여 임베딩 모델이 간결하고 구조가 잘 잡힌 표현을 학습하도록 유도한다. 우리의 방법은 수십 개의 시각 토큰만으로도 효율적인 VDR 작업을 가능하게 하며, 다양한 백본과 벤치마크에서 매우 경쟁력 있는 성능을 유지하면서 토큰 수를 30~155배 감소시킨다. 이론적 분석과 실험 결과는 학습 효율성과 테스트 시점의 확장성 측면에서 자기회귀 임베딩 생성이 갖는 고유한 장점을 보여 준다. 그 결과 CausalEmbed는 멀티벡터 VDR 표현을 위한 유연한 테스트 시점 스케일링(test-time scaling) 전략을 제시하며, 멀티모달 문서 검색에서 생성적 패러다임에 대한 통찰을 제공한다. 코드는 https://github.com/Z1zs/Causal-Embed 에서 확인할 수 있다.

arXiv:2609.24152v1cs.IR공통 태그 Metric Learning, Image Retrieval

대규모 이커머스 시각 검색을 위한 등급별 관련성 합성 멀티모달 검색

Graded-Relevance Composed Multimodal Retrieval for E-commerce Visual Search at Scale

대규모 이커머스 카탈로그에서의 시각 검색은 업로드된 이미지와 유사한 상품을 요구하는 "유사성(similarity)" 쿼리와, 원하는 수정(예: 색상 변경, 스타일 교체)을 설명하는 텍스트와 이미지로 이루어진 "수식어(modifier)" 쿼리를 모두 처리해야 한다. 후자는 합성 이미지 검색(composed image retrieval, CIR)으로 알려진 설정이다. 그러나 기존 CIR 방법은 관련성을 이진으로 취급하고 단일 positive target을 갖는 triplet으로 학습하는데, 이는 실제 카탈로그에서 많은 후보가 사용자 쿼리를 부분적으로 만족하고 그 부분 일치 스펙트럼에 걸친 순위화가 고객 경험을 좌우하는 현실에 잘 맞지 않는다. 우리는 등급별 관련성(graded relevance) 위에서 CIR 검색기를 학습하는 방법론을 제안하며, 이는 (i) VLM을 이용해 학습 데이터를 큐레이션하고, 객체 검출과 수식어 합성으로 쿼리를 생성하며 수동 주석 없이 4단계 관련성 라벨을 만드는 것, (ii) 학습 중인 검색기로부터 hard negative를 마이닝하여 학습 집합을 확장하는 반복적 관련성 피드백 루프, (iii) 등급 라벨을 이진 분할로 축소하지 않고 직접 학습하기 위한 계층 인식(hierarchy-aware) 각도 목적 함수로 구성된다. 이 방법론을 GradCIR라 부르며, 원시 Walmart 카탈로그 데이터에서 큐레이션한 350만 개의 등급별 쌍으로 학습한 PaliGemma2 bi-encoder에 구현했다. 등급 대 이진에 대한 통제된 ablation이 감독 세분성을 분리하여 NDCG@10에서 4.9%-5.9% 향상을 보여준다. 동일한 레시피를 다른 멀티모달 인코더에 적용하면 early-fusion 백본에서 NDCG@10이 최대 8.5%까지 향상된다. 공개 FashionIQ 벤치마크에서 GradCIR(PaliGemma2에 적용, 파인튜닝)은 평균 재현율 0.6703에 도달하여, 우리가 비교한 동료 심사 최강 감독 기준선보다 약간 앞서며, 발표된 모든 CLIP-L급 제로샷 CIR 방법과 동등하거나 그 이상이다. 이 시스템은 Walmart 프로덕션에 배포되어 라이브 시각 검색 사용자 트래픽을 처리하고 있다.

arXiv:2607.22068v2cs.CV공통 태그 Metric Learning, Image Retrieval

Foundation Model 사전학습 하에서 차량 재식별을 위한 다분기 및 교차-백본 융합 재검토

Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification under Foundation-Model Pretraining

다분기(multi-branch) 아키텍처와 CNN-트랜스포머 융합은 상보적인 표현을 결합함으로써 차량 재식별(re-identification, Re-ID) 성능을 높인다고 널리 여겨진다. 본 연구는 DINOv3 사전학습(pre-training) 백본에 대해 이를 재검토한다. DINOv3로 사전학습된 단일 ConvNeXt가 조정된 레시피로 시각적 단서만으로 VeRi-Wild Small에서 88.19 mAP, Large에서 77.47 mAP에 도달하며, 이는 프로토콜 검증된 최강의 메타데이터 의존 다분기 기준선이 겪는 평가(evaluation) 및 최적화(optimization) 잡음을 합친 범위 안에 있다. 학습 없는(training-free) 재순위화(re-ranking)를 쓰면 92.38/83.68에 이른다. 이 기준선과 검색(retrieval) 수준의 분기 진단을 바탕으로, 이 규모에서 표현 다양성(representational diversity)이 여전히 이득을 주는지 묻는다. 우리 실험에서는 그렇지 않다. 두 벤치마크(benchmark)와 수렴한 모든 설정에 걸쳐, 공유 백본 위 여러 헤드를 연결(concatenate)하면 최고 단일 헤드 대비 mAP가 어느 방향으로든 1점 미만만 움직이는데 임베딩(embedding) 차원은 네 배가 든다. 연결 벡터 분산의 99.7%가 512개 주성분(principal components)에 놓이므로, 헤드들은 서로를 중복할 뿐 아니라 각각 명목 2048차원의 4분의 1만 실질적으로 차지한다. 아키텍처적 한계까지 다양성을 밀어붙여 CNN 대 트랜스포머(transformer)를 비교할 때, 비대칭 고정-앵커(asymmetric frozen-anchor) 방식으로 융합에 모든 이점을 부여한다. 그럼에도 모든 트랜스포머 설정은 ConvNeXt 백본보다 13–15 mAP 낮고, 질의별 paired bootstrap은 우리가 얻은 가장 유리한 스냅샷에서도 융합 이득을 +0.11 mAP(95% CI)로 한정한다. 적절한 레시피와 재순위화를 갖춘 하나의 강력한 백본이 효율성 전선(efficiency frontier)이다. 모든 결과는 단일 시드 학습(training)과 하나의 foundation model 계열을 사용한다. 따라서 이 크기의 차이는 순위(ordering)가 아니라 경계(bounds)로 보고하며, 반증 조건(falsifiers)을 나열한다.

arXiv:2609.02012v2cs.CV공통 태그 Metric Learning, Image Retrieval

POI-Loc: 세밀한 POI 로컬라이제이션 벤치마크 및 비대칭 전역-지역 매칭 기법

POI-Loc: A Fine-Grained POI Localization Benchmark and an Asymmetric Global-to-Local Matching Method

관심 지점(POI, Point-of-interest) 로컬라이제이션은 사용자가 제공한 매장 전면 근접 촬영 사진을 위치 태그(geo-tagged)가 지정된 차량 탑재 광각 스트리트 뷰 내 동일한 매장과 매칭한다. 주변 장면은 유사하게 유지되는 반면 POI는 변경될 수 있으므로, 장면 수준의 인식만으로는 POI의 동일성을 확립할 수 없다. 또한 대상 스케일 및 촬영 도메인의 차이는 매칭을 더욱 어렵게 만든다. 우리는 우리가 아는 한 이 비대칭적이고 세밀한(fine-grained) POI 로컬라이제이션 작업을 전담하는 최초의 벤치마크인 POI-Loc을 소개한다. 많은 시각적 장소 인식 방법들은 각 이미지를 단일 전역 벡터로 표현하는데, 이는 복잡한 배경 속에서 작은 매장 전면의 세밀한 특징을 희석시키는 경향이 있다. 우리는 전역 및 지역적 근거를 결합하기 위해 GLAM(Global-to-Local Asymmetric Matching)을 제안한다. 1단계에서는 학습 가능한 소프트 top-k 상호작용을 통해 단일 어텐션 풀링(attention-pooled) 쿼리 프로브를 압축된 참조 영역 토큰과 매칭하고, 그 결과로 도출된 지역 유사도를 검색을 위한 전역 유사도와 융합한다. 2단계에서는 어텐션 풀링 이전의 쿼리 영역 토큰과 저장된 참조 토큰을 재사용하여 상호 최근접 이웃 재순위화를 수행한다. GLAM은 Recall@1/5/10 및 mAP에서 전역 및 2단계 베이스라인을 모두 능가하며, FoL 대비 재순위화 특징은 약 $5\times$ 더 작고 쌍별 매칭 비용은 $280\times$ 더 낮다. 벤치마크와 코드는 https://github.com/roadhan/glam 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.