arXiv:1307.4514

Supervised Metric Learning with Generalization Guarantees

Aurélien Bellet

제출 2013-07-17

원문 초록

The crucial importance of metrics in machine learning algorithms has led to an increasing interest in optimizing distance and similarity functions, an area of research known as metric learning. When data consist of feature vectors, a large body of work has focused on learning a Mahalanobis distance. Less work has been devoted to metric learning from structured objects (such as strings or trees), most of it focusing on optimizing a notion of edit distance. We identify two important limitations of current metric learning approaches. First, they allow to improve the performance of local algorithms such as k-nearest neighbors, but metric learning for global algorithms (such as linear classifiers) has not been studied so far. Second, the question of the generalization ability of metric learning methods has been largely ignored. In this thesis, we propose theoretical and algorithmic contributions that address these limitations. Our first contribution is the derivation of a new kernel function built from learned edit probabilities. Our second contribution is a novel framework for learning string and tree edit similarities inspired by the recent theory of (e,g,t)-good similarity functions. Using uniform stability arguments, we establish theoretical guarantees for the learned similarity that give a bound on the generalization error of a linear classifier built from that similarity. In our third contribution, we extend these ideas to metric learning from feature vectors by proposing a bilinear similarity learning method that efficiently optimizes the (e,g,t)-goodness. Generalization guarantees are derived for our approach, highlighting that our method minimizes a tighter bound on the generalization error of the classifier. Our last contribution is a framework for establishing generalization bounds for a large class of existing metric learning algorithms based on a notion of algorithmic robustness.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09405v1cs.LG공통 태그 Metric Learning, Generalization Bounds

InfoNCE 손실을 이용한 대조 학습에서의 유사도 검색 일반화

Similarity search generalisation in contrastive learning with InfoNCE loss

유사도 검색(Similarity search)은 대조 학습(contrastive learning)으로 학습된 임베딩 모델의 주요 응용 분야입니다. 가장 널리 사용되는 대조 학습 손실 함수 중 하나인 InfoNCE에 대해, $k$개의 네거티브 샘플을 사용하는 모집단 리스크(population risk)가 기대 교차 엔트로피에 $O(1/k)$ 가깝다는 것을 보입니다. 이 교차 엔트로피는 i) 학습된 임베딩 함수를 사용하여 미관측 데이터에 대해 소프트맥스 유사도 검색을 수행하는 것과 ii) 포지티브 샘플 생성기에 암묵적으로 표현된 유사도를 사용하여 동일한 데이터에 대해 이상적인 소프트맥스 검색을 수행하는 것 사이의 편차를 정량화합니다. 이는 상호 정보량(mutual information) 및 임베딩의 정렬(alignment)과 균일성(uniformity) 측면에서 서술된 $k\to\infty$ 극한에서의 기존 InfoNCE 해석을 보완합니다. 일반화 성능을 정량화하기 위해, 가토 미분(Gâteaux differentiation)을 통해 도출된 InfoNCE 손실에 대한 새로운 연속성 경계(continuity bound)를 도입합니다. 이 경계는 손실 함수에 포함된 네거티브 샘플에 대한 평균화 구조를 보존하며, 알고리즘 온도(algorithmic temperature)를 반영하도록 조정 가능한 '역온도(inverse temperature)' 매개변수를 포함합니다. 매개변수에 대해 립시츠(Lipschitz) 조건을 만족하는 임베딩 함수의 경우, 이로부터 InfoNCE 손실에서 $k$개의 네거티브 샘플에 의한 평균화 효과가 $k$가 증가함에 따라 일반화 오류의 안정화로 이어진다는 것을 간단히 보일 수 있습니다.

arXiv:2412.11161v2cs.CV공통 태그 Metric Learning공식 코드 · Papers with Code

이유와 방법: 교차 스펙트럼 영상 패치 매칭을 위한 지식 기반 학습

Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching

최근 특징 관계 학습에 기반한 교차 스펙트럼 영상 패치 매칭이 폭넓은 관심을 받고 있다. 그러나 기존 방법은 복잡한 관계 추출 구조를 구축하여 더 풍부한 특징 관계를 발굴하는 데 집중한다. 한편 성능 병목 현상이 점차 나타나고 있다. 이를 해결하기 위해 우리는 기술자 학습과 거리 학습 사이의 안정적이고 효율적인 가교를 탐구하는 최초의 시도를 하고, 복잡한 네트워크 구조를 버리면서도 상당한 성능 향상을 달성하는 지식 기반 학습 네트워크(KGL-Net)를 구축한다. 구체적으로, 특징 차이 학습에 기반한 거리 학습과 유클리드 거리에 기반한 기술자 학습 사이에 특징 추출의 일관성이 있음을 발견한다. 이는 가교 구축의 토대가 된다. 구축한 가교의 안정성과 효율성을 보장하기 위해, 한편으로는 20가지 조합 네트워크 아키텍처를 심층적으로 탐구한다. 다른 한편으로는 특징의 상호 유도를 달성하는 특징 유도 손실을 구성한다. 또한 기존 방법과 달리 거리 분기의 특징 매핑 능력에 더 많은 주의를 기울여야 한다고 본다. 이에 따라 거리 학습을 위한 어려운 부정 샘플 마이닝(HNSM-M) 전략을 구성한다. 우리가 아는 한, 거리 네트워크에 대한 어려운 부정 샘플 마이닝이 구현되어 상당한 성능 향상을 가져온 것은 이번이 처음이다. 폭넓은 실험 결과, KGL-Net은 여러 교차 스펙트럼 영상 패치 매칭 데이터셋에서 최고 수준(SOTA)의 성능을 달성한다. 코드는 https://github.com/YuChuang1205/KGL-Net 에서 공개되어 있다.

arXiv:2502.00168v5stat.ML공통 태그 Metric Learning공식 코드 · Papers with Code

지도 2차 특징 분석: 차원 축소를 위한 정보 기하학 접근

Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction

지도 차원 축소는 클래스 분리를 유지하면서 레이블이 붙은 데이터를 저차원 특징 공간으로 매핑한다. 일반적인 전략은 클래스 조건부(class-conditional) 확률 분포 간 통계적 비유사성(dissimilarity) 측정을 최대화하는 특징을 학습하는 것이다. 리만 기하학(Riemannian geometry)에 뿌리를 둔 정보 기하학(information geometry)은 클래스 비유사성 측정을 위한 대안적 틀을 제공한다. 이는 확률 분포를 통계적 다양체(statistical manifold) 상의 점으로 취급하고, Fisher 정보 계량(Fisher information metric)을 사용하여 분포 간 측지 거리(geodesic distance)—Fisher-Rao 거리—를 정의한다. Fisher-Rao 거리는 Fisher 정보 계량이 국소적 변별력(discriminability)의 측도이고 기하학적 해석이 가능하기 때문에 클래스 분리 측정에 매력적인 후보이다. 본 논문에서는 가우시안 가정 하에서 클래스 조건부 분포 간 Fisher-Rao 거리를 최대화하는 선형 특징을 학습하는 지도 차원 축소 방법인 지도 2차 특징 분석(Supervised Quadratic Feature Analysis, SQFA)을 제안한다. 여러 실제 데이터셋에서 SQFA 특징은 더 널리 쓰이는 비유사성 측도를 최대화한 특징이나 다른 최신(state-of-the-art) 차원 축소 방법으로 학습된 특징과 경쟁력 있는 분류 정확도를 달성한다. 특히 차원 축소에서 드물게 사용되는 목적 함수인 Hellinger 거리를 최대화하는 SQFA 변형인 SQFA-H 특징이 최고의 분류 정확도를 달성한다. 이 결과는 지도 차원 축소 도구로서 정보 기하학의 잠재력을 보여준다. SQFA의 Python 구현은 https://github.com/dherrera1911/sqfa 에서 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.