arXiv:2304.10941

Deep Metric Learning Assisted by Intra-variance in A Semi-supervised View of Learning

Liu Pingping, Liu Zetong, Lang Yijun, Zhou Qiuzhan, Li Qingliang

제출 2023-04-21

원문 초록

Deep metric learning aims to construct an embedding space where samples of the same class are close to each other, while samples of different classes are far away from each other. Most existing deep metric learning methods attempt to maximize the difference of inter-class features. And semantic related information is obtained by increasing the distance between samples of different classes in the embedding space. However, compressing all positive samples together while creating large margins between different classes unconsciously destroys the local structure between similar samples. Ignoring the intra-class variance contained in the local structure between similar samples, the embedding space obtained from training receives lower generalizability over unseen classes, which would lead to the network overfitting the training set and crashing on the test set. To address these considerations, this paper designs a self-supervised generative assisted ranking framework that provides a semi-supervised view of intra-class variance learning scheme for typical supervised deep metric learning. Specifically, this paper performs sample synthesis with different intensities and diversity for samples satisfying certain conditions to simulate the complex transformation of intra-class samples. And an intra-class ranking loss function is designed using the idea of self-supervised learning to constrain the network to maintain the intra-class distribution during the training process to capture the subtle intra-class variance. With this approach, a more realistic embedding space can be obtained in which global and local structures of samples are well preserved, thus enhancing the effectiveness of downstream tasks. Extensive experiments on four benchmarks have shown that this approach surpasses state-of-the-art methods

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27988v1cs.CV공통 태그 Self-Supervised Learning, Metric Learning

비전 트랜스포머 특징 공간을 위한 태스크 유도 리만 메트릭

Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces

비전 트랜스포머(ViT) 특징(feature) 공간에서 작동하는 방법들은 일반적으로 유클리드 거리나 코사인 유사도에 의존합니다. 이는 모든 방향이 동등하게 유의미하다고 가정하지만, 실제 태스크 기하학이 이러한 특성을 가진다고 볼 근거는 없습니다. 특징 공간의 태스크 민감 기하학은 풀백 메트릭(pullback metric) $g(F) = J(F)^\top J(F)$로 주어지며, 여기서 $J$는 태스크별 거리에 입력되는 디코더 출력을 특징에 대해 미분한 야코비안(Jacobian)입니다. 현대적인 규모에서는 전체 $g$를 저장하는 것이 불가능하며, 깊이 맵과 같은 조밀한(dense) 출력의 경우에는 $J$를 형성하는 것조차 비실용적입니다. 본 연구에서는 이 메트릭의 저순위 근사(low-rank approximation)를 학습할 수 있는지 여부가 모델-디코더 쌍에 따라 달라짐을 보이고, 적은 수의 야코비안-벡터 곱으로 계산 가능한 행렬 불필요(matrix-free) 진단 지표 $\kappa_{cap}(r)$로 이를 특성화합니다. 다루기 쉬운(tractable) 쌍에 대해 무작위 거듭제곱 반복(randomized power iteration)으로부터 메트릭의 저순위 버전을 학습하는 Spectral Pullback Network(SPN)를 개발하고, 이를 특징으로부터 토큰(token) 중요도를 직접 예측하는 $310$K 매개변수(parameter) 중요도 헤드로 지식 증류(distillation)합니다. 야코비안 스펙트럼이 너무 분산되어 저순위 근사가 어려운 경우, 디코더의 입력 특징을 VAE 병목(bottleneck)에 통과시켜 취급 용이성을 회복할 수 있습니다. DPT, DINOv2, CLIP, VGGT 백본 전반에 걸쳐 $\kappa_{cap}(r)$은 어떤 학습 메트릭 아키텍처가 실현 가능한지 예측합니다. 중요도 헤드는 DINOv2 CLS에서 스피어만(Spearman) $\rho = 0.998$에 도달하며, 본 연구의 기하학적 토큰 가지치기(pruning)는 ViT를 미세조정(fine-tuning)하지 않고도 가지치기 비율 $0.5$의 DPT 깊이 추정에서 ToMe 기반 토큰 선택의 추가 깊이 오차를 $25\%$ 감소시킵니다. 프로젝트 페이지: https://cyberiada.github.io/TaskInducedViTs/

arXiv:2609.25007v1eess.AS공통 태그 Self-Supervised Learning, Metric Learning

짧은 구간을 넘어서: 벡터 아카이브로 화자 임베딩 확장

Beyond Short Segments : Expanding Speaker Embeddings with Vector Archives

최신 화자 검증(SV) 시스템은 짧은 발화에서는 화자 고유 정보가 부족해 성능이 크게 저하된다. 이 문제에 대응하기 위해, 짧은 길이 음성에서 특징 추출을 강화하도록 설계한 Vector Archive Mapping ECAPA(VAM-ECAPA)라는 새로운 시스템을 제안한다. 본 시스템의 핵심은 트랜스포머 기반 Vector Archive Mapping with Statistical Pooling(TVAMSP) 모듈로, 정보가 빈약한 특징을 학습 가능한 표준 화자 특성 Vector Archive에 매핑하여 풍부하게 만든다. TVAMSP 모듈을 강력한 WavLM+ECAPA-TDNN 기준선에 통합함으로써, 짧은 구간의 희소 특징을 견고하고 판별력 있는 화자 표현으로 매핑하도록 학습한다. VoxCeleb1 벤치마크 실험에서 제안 VAM-ECAPA는 1초 테스트 구간에서 EER 8.334%라는 매우 경쟁력 있는 성능을 달성했으며, 이는 관례적으로 학습한 기준선 대비 상대 오류 54.8% 감소에 해당한다.

arXiv:2607.22068v2cs.CV공통 태그 Self-Supervised Learning, Metric Learning

Foundation Model 사전학습 하에서 차량 재식별을 위한 다분기 및 교차-백본 융합 재검토

Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification under Foundation-Model Pretraining

다분기(multi-branch) 아키텍처와 CNN-트랜스포머 융합은 상보적인 표현을 결합함으로써 차량 재식별(re-identification, Re-ID) 성능을 높인다고 널리 여겨진다. 본 연구는 DINOv3 사전학습(pre-training) 백본에 대해 이를 재검토한다. DINOv3로 사전학습된 단일 ConvNeXt가 조정된 레시피로 시각적 단서만으로 VeRi-Wild Small에서 88.19 mAP, Large에서 77.47 mAP에 도달하며, 이는 프로토콜 검증된 최강의 메타데이터 의존 다분기 기준선이 겪는 평가(evaluation) 및 최적화(optimization) 잡음을 합친 범위 안에 있다. 학습 없는(training-free) 재순위화(re-ranking)를 쓰면 92.38/83.68에 이른다. 이 기준선과 검색(retrieval) 수준의 분기 진단을 바탕으로, 이 규모에서 표현 다양성(representational diversity)이 여전히 이득을 주는지 묻는다. 우리 실험에서는 그렇지 않다. 두 벤치마크(benchmark)와 수렴한 모든 설정에 걸쳐, 공유 백본 위 여러 헤드를 연결(concatenate)하면 최고 단일 헤드 대비 mAP가 어느 방향으로든 1점 미만만 움직이는데 임베딩(embedding) 차원은 네 배가 든다. 연결 벡터 분산의 99.7%가 512개 주성분(principal components)에 놓이므로, 헤드들은 서로를 중복할 뿐 아니라 각각 명목 2048차원의 4분의 1만 실질적으로 차지한다. 아키텍처적 한계까지 다양성을 밀어붙여 CNN 대 트랜스포머(transformer)를 비교할 때, 비대칭 고정-앵커(asymmetric frozen-anchor) 방식으로 융합에 모든 이점을 부여한다. 그럼에도 모든 트랜스포머 설정은 ConvNeXt 백본보다 13–15 mAP 낮고, 질의별 paired bootstrap은 우리가 얻은 가장 유리한 스냅샷에서도 융합 이득을 +0.11 mAP(95% CI)로 한정한다. 적절한 레시피와 재순위화를 갖춘 하나의 강력한 백본이 효율성 전선(efficiency frontier)이다. 모든 결과는 단일 시드 학습(training)과 하나의 foundation model 계열을 사용한다. 따라서 이 크기의 차이는 순위(ordering)가 아니라 경계(bounds)로 보고하며, 반증 조건(falsifiers)을 나열한다.

arXiv:2609.24064v1cs.CV공통 태그 Self-Supervised Learning, Metric Learning

종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 난초 속 식별을 위한 비전 트랜스포머 대 합성곱 신경망: 뉴기니 난초과에 대한 통제된 벤치마크

Vision Transformers versus convolutional neural networks for fine-grained orchid genus identification in a species-rich, data-poor flora: a controlled benchmark on the Orchidaceae of New Guinea

뉴기니는 세계에서 가장 풍부한 섬 식물상(난초 약 2,856종)을 보유하고 있지만, 대부분의 종은 소수의 사진으로만 대표되며, 이는 종 수준의 직접 분류에 필요한 것보다 훨씬 적다. 이처럼 종 다양성은 높지만 데이터가 부족한 식물상에서 세분화된 식별(fine-grained identification)을 위한 방법이 필요하지만, 어떤 백본(backbone) 아키텍처와 사전학습(pretraining) 전략이 이를 가장 잘 뒷받침하는지는 아직 명확하지 않다. 우리는 먼저 쿼리 사진의 속(genus)을 예측한 다음, FAISS를 이용해 후보 종의 시각적으로 유사한 참조 이미지를 검색하는 2단계 시스템을 구축했다. 우리는 사전학습된 네 가지 백본 -- 두 개의 비전 트랜스포머(Vision Transformer, ViT; DINOv2, BioCLIP 2)와 두 개의 CNN(ConvNeXt V2-L, EfficientNetV2-L) -- 을 120개 속과 1,350개 종에 걸친 16,701장의 사진으로 구성된, 종 층화(species-stratified)된 고정 분할 데이터셋에서 동일한 프로토콜로 파인튜닝(fine-tuning)하여 비교했으며, 정확도, 보정(calibration), 오류 구조, 종 검색(retrieval), 그리고 새로운 속에 대한 오픈셋(open-set) 탐지를 평가했다. DINOv2가 가장 우수한 속 수준 성능을 달성했다(매크로 top-1 66.9%, 95% 신뢰구간 63.7-70.6; 전역 top-1 88.9%). 두 ViT 모두 두 CNN보다 우수한 성능을 보였으며, 범용 자기지도학습(self-supervised) 사전학습(DINOv2)이 도메인에 특화된 생물학적 사전학습(BioCLIP 2)보다 매크로 top-1 기준 7.1점 더 높은 성능을 보였다. 오류는 오류 유인체(error attractor) 역할을 하는 두 개의 개체수가 많은 속에 집중되었다. DINOv2 임베딩(embedding)은 종 수준 재현율(Recall@5) 86.6%와 속 수준 재현율(Recall@5) 98.7%를 달성했으며, 온도 스케일링(temperature scaling)은 모든 백본의 기대 보정 오차(Expected Calibration Error)를 약 0.03까지 감소시켰다. 또한 거리 기반 오픈셋 게이트는 보지 못한 속을 탐지해냈다(평균 AUROC 0.958). 임베딩 검색과 결합된 자기지도학습 비전 트랜스포머 백본은 종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 식별을 위한 효과적이고 실용적으로 배포 가능한 전략이다. 이 시스템은 공개 웹 애플리케이션(New Guinea Orchid Identifier)으로 공개되었으며, 다른 초다양성(hyperdiverse)의 미문서화된 분류군에도 적용 가능한 실용적인 템플릿을 제공한다.

arXiv:2607.09405v1cs.LG공통 태그 Self-Supervised Learning, Metric Learning

InfoNCE 손실을 이용한 대조 학습에서의 유사도 검색 일반화

Similarity search generalisation in contrastive learning with InfoNCE loss

유사도 검색(Similarity search)은 대조 학습(contrastive learning)으로 학습된 임베딩 모델의 주요 응용 분야입니다. 가장 널리 사용되는 대조 학습 손실 함수 중 하나인 InfoNCE에 대해, $k$개의 네거티브 샘플을 사용하는 모집단 리스크(population risk)가 기대 교차 엔트로피에 $O(1/k)$ 가깝다는 것을 보입니다. 이 교차 엔트로피는 i) 학습된 임베딩 함수를 사용하여 미관측 데이터에 대해 소프트맥스 유사도 검색을 수행하는 것과 ii) 포지티브 샘플 생성기에 암묵적으로 표현된 유사도를 사용하여 동일한 데이터에 대해 이상적인 소프트맥스 검색을 수행하는 것 사이의 편차를 정량화합니다. 이는 상호 정보량(mutual information) 및 임베딩의 정렬(alignment)과 균일성(uniformity) 측면에서 서술된 $k\to\infty$ 극한에서의 기존 InfoNCE 해석을 보완합니다. 일반화 성능을 정량화하기 위해, 가토 미분(Gâteaux differentiation)을 통해 도출된 InfoNCE 손실에 대한 새로운 연속성 경계(continuity bound)를 도입합니다. 이 경계는 손실 함수에 포함된 네거티브 샘플에 대한 평균화 구조를 보존하며, 알고리즘 온도(algorithmic temperature)를 반영하도록 조정 가능한 '역온도(inverse temperature)' 매개변수를 포함합니다. 매개변수에 대해 립시츠(Lipschitz) 조건을 만족하는 임베딩 함수의 경우, 이로부터 InfoNCE 손실에서 $k$개의 네거티브 샘플에 의한 평균화 효과가 $k$가 증가함에 따라 일반화 오류의 안정화로 이어진다는 것을 간단히 보일 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.