Adaptive Hierarchical Similarity Metric Learning with Noisy Labels
원문 초록
Deep Metric Learning (DML) plays a critical role in various machine learning tasks. However, most existing deep metric learning methods with binary similarity are sensitive to noisy labels, which are widely present in real-world data. Since these noisy labels often cause severe performance degradation, it is crucial to enhance the robustness and generalization ability of DML. In this paper, we propose an Adaptive Hierarchical Similarity Metric Learning method. It considers two noise-insensitive information, \textit{i.e.}, class-wise divergence and sample-wise consistency. Specifically, class-wise divergence can effectively excavate richer similarity information beyond binary in modeling by taking advantage of Hyperbolic metric learning, while sample-wise consistency can further improve the generalization ability of the model using contrastive augmentation. More importantly, we design an adaptive strategy to integrate this information in a unified view. It is noteworthy that the new method can be extended to any pair-based metric loss. Extensive experimental results on benchmark datasets demonstrate that our method achieves state-of-the-art performance compared with current deep metric learning approaches.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
스푸마토 지도: 잡음 레이블을 이용한 인스턴스 분할 학습
Sfumato Supervision: Learning Instance Segmentation with Noisy Labels
인스턴스 분할에는 정밀한 물체 마스크가 필요하지만, 사람 주석자와 프롬프트 기반 모델 모두 신뢰할 수 없는 윤곽선을 만들어낼 수 있다. 윤곽선 근처의 높은 예측 손실이 반드시 주석 오류를 의미하는 것은 아니며, 유효한 경계도 불확실할 수 있다. 대상과 주변 사이의 전이를 부드럽게 하는 레오나르도 다 빈치의 \emph{스푸마토}에서 영감을 받아, 본 논문은 \textbf{\texttt{CB-LNL} (Copula-Boundary Learning with Noisy Labels)}를 제안한다. CB-LNL은 각 윤곽선 픽셀을 개별적으로 판단하는 대신, 마스크 내부의 전경 증거와 외부의 배경 증거를 결합하여 국소 지도와 주석 수정을 유도한다. 우리는 짝지어진 COCO와 LVIS 주석에 대한 감사(audit)에 이 접근법의 근거를 두고, 사람 주석, 약한 프롬프트의 SAM2 마스크, 자연 및 주행 장면에서의 통제된 오염을 포괄하는 벤치마크를 도입한다. 통제된 비교 결과, 절차적으로 생성된 윤곽선 잡음에 대한 학습이 개선되었으며 교사 마스크를 직접 대체하는 방식보다 해로운 수정이 적었다. 짝지은 시드 평가와 고정 예측 평가는 이러한 이점이 주석 출처에 따라 어떻게 달라지는지를 보여 주며, 범주 신뢰도와 윤곽선 신뢰도를 분리하여 평가해야 함을 뒷받침한다.
이유와 방법: 교차 스펙트럼 영상 패치 매칭을 위한 지식 기반 학습
Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching
최근 특징 관계 학습에 기반한 교차 스펙트럼 영상 패치 매칭이 폭넓은 관심을 받고 있다. 그러나 기존 방법은 복잡한 관계 추출 구조를 구축하여 더 풍부한 특징 관계를 발굴하는 데 집중한다. 한편 성능 병목 현상이 점차 나타나고 있다. 이를 해결하기 위해 우리는 기술자 학습과 거리 학습 사이의 안정적이고 효율적인 가교를 탐구하는 최초의 시도를 하고, 복잡한 네트워크 구조를 버리면서도 상당한 성능 향상을 달성하는 지식 기반 학습 네트워크(KGL-Net)를 구축한다. 구체적으로, 특징 차이 학습에 기반한 거리 학습과 유클리드 거리에 기반한 기술자 학습 사이에 특징 추출의 일관성이 있음을 발견한다. 이는 가교 구축의 토대가 된다. 구축한 가교의 안정성과 효율성을 보장하기 위해, 한편으로는 20가지 조합 네트워크 아키텍처를 심층적으로 탐구한다. 다른 한편으로는 특징의 상호 유도를 달성하는 특징 유도 손실을 구성한다. 또한 기존 방법과 달리 거리 분기의 특징 매핑 능력에 더 많은 주의를 기울여야 한다고 본다. 이에 따라 거리 학습을 위한 어려운 부정 샘플 마이닝(HNSM-M) 전략을 구성한다. 우리가 아는 한, 거리 네트워크에 대한 어려운 부정 샘플 마이닝이 구현되어 상당한 성능 향상을 가져온 것은 이번이 처음이다. 폭넓은 실험 결과, KGL-Net은 여러 교차 스펙트럼 영상 패치 매칭 데이터셋에서 최고 수준(SOTA)의 성능을 달성한다. 코드는 https://github.com/YuChuang1205/KGL-Net 에서 공개되어 있다.
지도 2차 특징 분석: 차원 축소를 위한 정보 기하학 접근
Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction
지도 차원 축소는 클래스 분리를 유지하면서 레이블이 붙은 데이터를 저차원 특징 공간으로 매핑한다. 일반적인 전략은 클래스 조건부(class-conditional) 확률 분포 간 통계적 비유사성(dissimilarity) 측정을 최대화하는 특징을 학습하는 것이다. 리만 기하학(Riemannian geometry)에 뿌리를 둔 정보 기하학(information geometry)은 클래스 비유사성 측정을 위한 대안적 틀을 제공한다. 이는 확률 분포를 통계적 다양체(statistical manifold) 상의 점으로 취급하고, Fisher 정보 계량(Fisher information metric)을 사용하여 분포 간 측지 거리(geodesic distance)—Fisher-Rao 거리—를 정의한다. Fisher-Rao 거리는 Fisher 정보 계량이 국소적 변별력(discriminability)의 측도이고 기하학적 해석이 가능하기 때문에 클래스 분리 측정에 매력적인 후보이다. 본 논문에서는 가우시안 가정 하에서 클래스 조건부 분포 간 Fisher-Rao 거리를 최대화하는 선형 특징을 학습하는 지도 차원 축소 방법인 지도 2차 특징 분석(Supervised Quadratic Feature Analysis, SQFA)을 제안한다. 여러 실제 데이터셋에서 SQFA 특징은 더 널리 쓰이는 비유사성 측도를 최대화한 특징이나 다른 최신(state-of-the-art) 차원 축소 방법으로 학습된 특징과 경쟁력 있는 분류 정확도를 달성한다. 특히 차원 축소에서 드물게 사용되는 목적 함수인 Hellinger 거리를 최대화하는 SQFA 변형인 SQFA-H 특징이 최고의 분류 정확도를 달성한다. 이 결과는 지도 차원 축소 도구로서 정보 기하학의 잠재력을 보여준다. SQFA의 Python 구현은 https://github.com/dherrera1911/sqfa 에서 제공한다.
AbRank: A Benchmark Dataset and Metric-Learning Framework for Antibody-Antigen Affinity Ranking
Global Ground Metric Learning with Applications to scRNA data
Discrete Scale-invariant Metric Learning for Efficient Collaborative Filtering
토론
이 논문과 연결된 포럼 글이 아직 없습니다.