Hyperbolic Metric Learning for Visual Outlier Detection
원문 초록
Out-Of-Distribution (OOD) detection is critical to deploy deep learning models in safety-critical applications. However, the inherent hierarchical concept structure of visual data, which is instrumental to OOD detection, is often poorly captured by conventional methods based on Euclidean geometry. This work proposes a metric framework that leverages the strengths of Hyperbolic geometry for OOD detection. Inspired by previous works that refine the decision boundary for OOD data with synthetic outliers, we extend this method to Hyperbolic space. Interestingly, we find that synthetic outliers do not benefit OOD detection in Hyperbolic space as they do in Euclidean space. Furthermore we explore the relationship between OOD detection performance and Hyperbolic embedding dimension, addressing practical concerns in resource-constrained environments. Extensive experiments show that our framework improves the FPR95 for OOD detection from 22\% to 15\% and from 49% to 28% on CIFAR-10 and CIFAR-100 respectively compared to Euclidean methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이유와 방법: 교차 스펙트럼 영상 패치 매칭을 위한 지식 기반 학습
Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching
최근 특징 관계 학습에 기반한 교차 스펙트럼 영상 패치 매칭이 폭넓은 관심을 받고 있다. 그러나 기존 방법은 복잡한 관계 추출 구조를 구축하여 더 풍부한 특징 관계를 발굴하는 데 집중한다. 한편 성능 병목 현상이 점차 나타나고 있다. 이를 해결하기 위해 우리는 기술자 학습과 거리 학습 사이의 안정적이고 효율적인 가교를 탐구하는 최초의 시도를 하고, 복잡한 네트워크 구조를 버리면서도 상당한 성능 향상을 달성하는 지식 기반 학습 네트워크(KGL-Net)를 구축한다. 구체적으로, 특징 차이 학습에 기반한 거리 학습과 유클리드 거리에 기반한 기술자 학습 사이에 특징 추출의 일관성이 있음을 발견한다. 이는 가교 구축의 토대가 된다. 구축한 가교의 안정성과 효율성을 보장하기 위해, 한편으로는 20가지 조합 네트워크 아키텍처를 심층적으로 탐구한다. 다른 한편으로는 특징의 상호 유도를 달성하는 특징 유도 손실을 구성한다. 또한 기존 방법과 달리 거리 분기의 특징 매핑 능력에 더 많은 주의를 기울여야 한다고 본다. 이에 따라 거리 학습을 위한 어려운 부정 샘플 마이닝(HNSM-M) 전략을 구성한다. 우리가 아는 한, 거리 네트워크에 대한 어려운 부정 샘플 마이닝이 구현되어 상당한 성능 향상을 가져온 것은 이번이 처음이다. 폭넓은 실험 결과, KGL-Net은 여러 교차 스펙트럼 영상 패치 매칭 데이터셋에서 최고 수준(SOTA)의 성능을 달성한다. 코드는 https://github.com/YuChuang1205/KGL-Net 에서 공개되어 있다.
분포 외 탐지를 위한 커널 PCA: 비선형 커널 선택 및 근사
Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selection and Approximation
분포 외(Out-of-Distribution, OoD) 탐지는 심층 신경망의 신뢰성에 필수적이며, 그 핵심은 OoD 데이터와 분포 내(In-Distribution, InD) 데이터 간의 차이를 효과적으로 특성화하는 데 있다. 본 연구에서는 이러한 차이를 비선형 특징 부분공간이라는 새로운 관점을 통해 활용한다. 즉, InD 특징으로부터 판별적 비선형 부분공간을 학습하여 InD의 대표적 패턴을 포착하는 한편, OoD 특징에 담긴 정보적 패턴은 서로 다른 분포로 인해 이러한 부분공간에서 잘 포착되지 못한다. 이 관점에 기반하여, InD와 OoD 특징이 비선형 부분공간에서 보이는 편차를 OoD 탐지에 활용한다. 구체적으로, 커널 주성분 분석(Kernel Principal Component Analysis, KPCA) 프레임워크를 활용하여 판별적 비선형 부분공간을 얻고, 해당 부분공간에서의 재구성 오차를 이용해 InD와 OoD 데이터를 구별한다. 두 가지 과제가 제기된다: (i) 효과적인 비선형 부분공간의 학습, 즉 KPCA에서의 커널 함수 선택, 및 (ii) 대규모 InD 데이터에 대한 커널 행렬 계산. 전자에 대해, InD-OoD 차이와 밀접하게 관련된 두 가지 중요한 비선형 패턴을 밝히고, 이를 바탕으로 부분공간 구성을 위한 코사인-가우시안 커널을 수립한다. 후자에 대해, 코사인-가우시안 커널을 현저히 저렴한 계산으로 근사하는 두 가지 기법을 도입한다. 특히, 우리의 근사는 InD 데이터 신뢰도를 통합하여 추가로 맞춤화되며, 이는 OoD 데이터에 대한 판별적 부분공간 학습을 촉진하는 것으로 입증된다. 본 연구는 OoD 탐지를 위한 비선형 특징 부분공간에 대한 새로운 통찰을 제시하고, 관련 커널 설계 및 효율적 계산에 대한 실용적 탐구를 기여하며, 뚜렷이 향상된 효과와 효율성을 갖는 KPCA 탐지 방법을 제공한다.
지도 2차 특징 분석: 차원 축소를 위한 정보 기하학 접근
Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction
지도 차원 축소는 클래스 분리를 유지하면서 레이블이 붙은 데이터를 저차원 특징 공간으로 매핑한다. 일반적인 전략은 클래스 조건부(class-conditional) 확률 분포 간 통계적 비유사성(dissimilarity) 측정을 최대화하는 특징을 학습하는 것이다. 리만 기하학(Riemannian geometry)에 뿌리를 둔 정보 기하학(information geometry)은 클래스 비유사성 측정을 위한 대안적 틀을 제공한다. 이는 확률 분포를 통계적 다양체(statistical manifold) 상의 점으로 취급하고, Fisher 정보 계량(Fisher information metric)을 사용하여 분포 간 측지 거리(geodesic distance)—Fisher-Rao 거리—를 정의한다. Fisher-Rao 거리는 Fisher 정보 계량이 국소적 변별력(discriminability)의 측도이고 기하학적 해석이 가능하기 때문에 클래스 분리 측정에 매력적인 후보이다. 본 논문에서는 가우시안 가정 하에서 클래스 조건부 분포 간 Fisher-Rao 거리를 최대화하는 선형 특징을 학습하는 지도 차원 축소 방법인 지도 2차 특징 분석(Supervised Quadratic Feature Analysis, SQFA)을 제안한다. 여러 실제 데이터셋에서 SQFA 특징은 더 널리 쓰이는 비유사성 측도를 최대화한 특징이나 다른 최신(state-of-the-art) 차원 축소 방법으로 학습된 특징과 경쟁력 있는 분류 정확도를 달성한다. 특히 차원 축소에서 드물게 사용되는 목적 함수인 Hellinger 거리를 최대화하는 SQFA 변형인 SQFA-H 특징이 최고의 분류 정확도를 달성한다. 이 결과는 지도 차원 축소 도구로서 정보 기하학의 잠재력을 보여준다. SQFA의 Python 구현은 https://github.com/dherrera1911/sqfa 에서 제공한다.
ZClassifier: Temperature Tuning and Manifold Approximation via KL Divergence on Logit Space
Robust Spatiotemporal Epidemic Modeling with Integrated Adaptive Outlier Detection
FA: Forced Prompt Learning of Vision-Language Models for Out-of-Distribution Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.