arXiv:1910.04104

Vehicle Re-identification with Viewpoint-aware Metric Learning

Ruihang Chu, Yifan Sun, Yadong Li, Zheng Liu, Chi Zhang, Yichen Wei

제출 2019-10-09

원문 초록

This paper considers vehicle re-identification (re-ID) problem. The extreme viewpoint variation (up to 180 degrees) poses great challenges for existing approaches. Inspired by the behavior in human's recognition process, we propose a novel viewpoint-aware metric learning approach. It learns two metrics for similar viewpoints and different viewpoints in two feature spaces, respectively, giving rise to viewpoint-aware network (VANet). During training, two types of constraints are applied jointly. During inference, viewpoint is firstly estimated and the corresponding metric is used. Experimental results confirm that VANet significantly improves re-ID accuracy, especially when the pair is observed from different viewpoints. Our method establishes the new state-of-the-art on two benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22068v2cs.CV공통 태그 Metric Learning, Vehicle Re-Identification

Foundation Model 사전학습 하에서 차량 재식별을 위한 다분기 및 교차-백본 융합 재검토

Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification under Foundation-Model Pretraining

다분기(multi-branch) 아키텍처와 CNN-트랜스포머 융합은 상보적인 표현을 결합함으로써 차량 재식별(re-identification, Re-ID) 성능을 높인다고 널리 여겨진다. 본 연구는 DINOv3 사전학습(pre-training) 백본에 대해 이를 재검토한다. DINOv3로 사전학습된 단일 ConvNeXt가 조정된 레시피로 시각적 단서만으로 VeRi-Wild Small에서 88.19 mAP, Large에서 77.47 mAP에 도달하며, 이는 프로토콜 검증된 최강의 메타데이터 의존 다분기 기준선이 겪는 평가(evaluation) 및 최적화(optimization) 잡음을 합친 범위 안에 있다. 학습 없는(training-free) 재순위화(re-ranking)를 쓰면 92.38/83.68에 이른다. 이 기준선과 검색(retrieval) 수준의 분기 진단을 바탕으로, 이 규모에서 표현 다양성(representational diversity)이 여전히 이득을 주는지 묻는다. 우리 실험에서는 그렇지 않다. 두 벤치마크(benchmark)와 수렴한 모든 설정에 걸쳐, 공유 백본 위 여러 헤드를 연결(concatenate)하면 최고 단일 헤드 대비 mAP가 어느 방향으로든 1점 미만만 움직이는데 임베딩(embedding) 차원은 네 배가 든다. 연결 벡터 분산의 99.7%가 512개 주성분(principal components)에 놓이므로, 헤드들은 서로를 중복할 뿐 아니라 각각 명목 2048차원의 4분의 1만 실질적으로 차지한다. 아키텍처적 한계까지 다양성을 밀어붙여 CNN 대 트랜스포머(transformer)를 비교할 때, 비대칭 고정-앵커(asymmetric frozen-anchor) 방식으로 융합에 모든 이점을 부여한다. 그럼에도 모든 트랜스포머 설정은 ConvNeXt 백본보다 13–15 mAP 낮고, 질의별 paired bootstrap은 우리가 얻은 가장 유리한 스냅샷에서도 융합 이득을 +0.11 mAP(95% CI)로 한정한다. 적절한 레시피와 재순위화를 갖춘 하나의 강력한 백본이 효율성 전선(efficiency frontier)이다. 모든 결과는 단일 시드 학습(training)과 하나의 foundation model 계열을 사용한다. 따라서 이 크기의 차이는 순위(ordering)가 아니라 경계(bounds)로 보고하며, 반증 조건(falsifiers)을 나열한다.

arXiv:2412.11161v2cs.CV공통 태그 Metric Learning공식 코드 · Papers with Code

이유와 방법: 교차 스펙트럼 영상 패치 매칭을 위한 지식 기반 학습

Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching

최근 특징 관계 학습에 기반한 교차 스펙트럼 영상 패치 매칭이 폭넓은 관심을 받고 있다. 그러나 기존 방법은 복잡한 관계 추출 구조를 구축하여 더 풍부한 특징 관계를 발굴하는 데 집중한다. 한편 성능 병목 현상이 점차 나타나고 있다. 이를 해결하기 위해 우리는 기술자 학습과 거리 학습 사이의 안정적이고 효율적인 가교를 탐구하는 최초의 시도를 하고, 복잡한 네트워크 구조를 버리면서도 상당한 성능 향상을 달성하는 지식 기반 학습 네트워크(KGL-Net)를 구축한다. 구체적으로, 특징 차이 학습에 기반한 거리 학습과 유클리드 거리에 기반한 기술자 학습 사이에 특징 추출의 일관성이 있음을 발견한다. 이는 가교 구축의 토대가 된다. 구축한 가교의 안정성과 효율성을 보장하기 위해, 한편으로는 20가지 조합 네트워크 아키텍처를 심층적으로 탐구한다. 다른 한편으로는 특징의 상호 유도를 달성하는 특징 유도 손실을 구성한다. 또한 기존 방법과 달리 거리 분기의 특징 매핑 능력에 더 많은 주의를 기울여야 한다고 본다. 이에 따라 거리 학습을 위한 어려운 부정 샘플 마이닝(HNSM-M) 전략을 구성한다. 우리가 아는 한, 거리 네트워크에 대한 어려운 부정 샘플 마이닝이 구현되어 상당한 성능 향상을 가져온 것은 이번이 처음이다. 폭넓은 실험 결과, KGL-Net은 여러 교차 스펙트럼 영상 패치 매칭 데이터셋에서 최고 수준(SOTA)의 성능을 달성한다. 코드는 https://github.com/YuChuang1205/KGL-Net 에서 공개되어 있다.

arXiv:2502.00168v5stat.ML공통 태그 Metric Learning공식 코드 · Papers with Code

지도 2차 특징 분석: 차원 축소를 위한 정보 기하학 접근

Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction

지도 차원 축소는 클래스 분리를 유지하면서 레이블이 붙은 데이터를 저차원 특징 공간으로 매핑한다. 일반적인 전략은 클래스 조건부(class-conditional) 확률 분포 간 통계적 비유사성(dissimilarity) 측정을 최대화하는 특징을 학습하는 것이다. 리만 기하학(Riemannian geometry)에 뿌리를 둔 정보 기하학(information geometry)은 클래스 비유사성 측정을 위한 대안적 틀을 제공한다. 이는 확률 분포를 통계적 다양체(statistical manifold) 상의 점으로 취급하고, Fisher 정보 계량(Fisher information metric)을 사용하여 분포 간 측지 거리(geodesic distance)—Fisher-Rao 거리—를 정의한다. Fisher-Rao 거리는 Fisher 정보 계량이 국소적 변별력(discriminability)의 측도이고 기하학적 해석이 가능하기 때문에 클래스 분리 측정에 매력적인 후보이다. 본 논문에서는 가우시안 가정 하에서 클래스 조건부 분포 간 Fisher-Rao 거리를 최대화하는 선형 특징을 학습하는 지도 차원 축소 방법인 지도 2차 특징 분석(Supervised Quadratic Feature Analysis, SQFA)을 제안한다. 여러 실제 데이터셋에서 SQFA 특징은 더 널리 쓰이는 비유사성 측도를 최대화한 특징이나 다른 최신(state-of-the-art) 차원 축소 방법으로 학습된 특징과 경쟁력 있는 분류 정확도를 달성한다. 특히 차원 축소에서 드물게 사용되는 목적 함수인 Hellinger 거리를 최대화하는 SQFA 변형인 SQFA-H 특징이 최고의 분류 정확도를 달성한다. 이 결과는 지도 차원 축소 도구로서 정보 기하학의 잠재력을 보여준다. SQFA의 Python 구현은 https://github.com/dherrera1911/sqfa 에서 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.