Query-Guided Networks for Few-shot Fine-grained Classification and Person Search
원문 초록
Few-shot fine-grained classification and person search appear as distinct tasks and literature has treated them separately. But a closer look unveils important similarities: both tasks target categories that can only be discriminated by specific object details; and the relevant models should generalize to new categories, not seen during training. We propose a novel unified Query-Guided Network (QGN) applicable to both tasks. QGN consists of a Query-guided Siamese-Squeeze-and-Excitation subnetwork which re-weights both the query and gallery features across all network layers, a Query-guided Region Proposal subnetwork for query-specific localisation, and a Query-guided Similarity subnetwork for metric learning. QGN improves on a few recent few-shot fine-grained datasets, outperforming other techniques on CUB by a large margin. QGN also performs competitively on the person search CUHK-SYSU and PRW datasets, where we perform in-depth analysis.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Stable and Effective One-Step Method for Person Search
이유와 방법: 교차 스펙트럼 영상 패치 매칭을 위한 지식 기반 학습
Why and How: Knowledge-Guided Learning for Cross-Spectral Image Patch Matching
최근 특징 관계 학습에 기반한 교차 스펙트럼 영상 패치 매칭이 폭넓은 관심을 받고 있다. 그러나 기존 방법은 복잡한 관계 추출 구조를 구축하여 더 풍부한 특징 관계를 발굴하는 데 집중한다. 한편 성능 병목 현상이 점차 나타나고 있다. 이를 해결하기 위해 우리는 기술자 학습과 거리 학습 사이의 안정적이고 효율적인 가교를 탐구하는 최초의 시도를 하고, 복잡한 네트워크 구조를 버리면서도 상당한 성능 향상을 달성하는 지식 기반 학습 네트워크(KGL-Net)를 구축한다. 구체적으로, 특징 차이 학습에 기반한 거리 학습과 유클리드 거리에 기반한 기술자 학습 사이에 특징 추출의 일관성이 있음을 발견한다. 이는 가교 구축의 토대가 된다. 구축한 가교의 안정성과 효율성을 보장하기 위해, 한편으로는 20가지 조합 네트워크 아키텍처를 심층적으로 탐구한다. 다른 한편으로는 특징의 상호 유도를 달성하는 특징 유도 손실을 구성한다. 또한 기존 방법과 달리 거리 분기의 특징 매핑 능력에 더 많은 주의를 기울여야 한다고 본다. 이에 따라 거리 학습을 위한 어려운 부정 샘플 마이닝(HNSM-M) 전략을 구성한다. 우리가 아는 한, 거리 네트워크에 대한 어려운 부정 샘플 마이닝이 구현되어 상당한 성능 향상을 가져온 것은 이번이 처음이다. 폭넓은 실험 결과, KGL-Net은 여러 교차 스펙트럼 영상 패치 매칭 데이터셋에서 최고 수준(SOTA)의 성능을 달성한다. 코드는 https://github.com/YuChuang1205/KGL-Net 에서 공개되어 있다.
약지도 객체 위치 추정 평가를 위한 현실적인 프로토콜
A Realistic Protocol for Evaluation of Weakly Supervised Object Localization
약지도 객체 위치 추정(Weakly Supervised Object Localization, WSOL)은 전역 클래스 수준 레이블만을 사용하여 분류 및 위치 추정(LOC)을 위한 심층 학습 모델을 학습할 수 있게 한다. 학습 중 경계 상자(bounding box, bbox) 지도 정보의 부재는 하이퍼파라미터 튜닝, 모델 선택, 평가 측면에서 문헌상 여러 과제를 야기한다. WSOL 방법들은 모델 선택을 위해 경계 상자 어노테이션이 포함된 검증 세트에, 그리고 위치 추정 맵으로부터 경계 상자를 생성하기 위한 임계값 추정에 경계 상자 어노테이션이 포함된 테스트 세트에 의존한다. 그러나 이 접근 방식은 실제 환경에서 해당 어노테이션을 일반적으로 구할 수 없다는 점에서 WSOL 설정과 부합하지 않는다. 초기 실증 분석에서는 모델 선택과 임계값 추정을 각각 클래스 레이블과 이미지 자체에만 의존할 경우, 수동 경계 상자 어노테이션을 사용하는 경우에 비해 위치 추정 성능이 크게 저하됨을 확인하였다. 이는 최적의 모델 성능을 위해 경계 상자 레이블을 활용하는 것의 중요성을 강조한다. 본 논문에서는 수동 경계 상자 어노테이션 없이 위치 추정 정보를 제공하는 새로운 WSOL 평가 프로토콜을 제안한다. 구체적으로, Selective Search, CLIP, RPN과 같은 사전학습된 기성 영역 제안(region proposal) 방법으로부터 노이즈가 포함된 의사 경계 상자(pseudo-box)를 생성하여 모델 선택에 활용하였다. 이러한 경계 상자는 위치 추정 맵에서 임계값을 추정하는 데에도 사용되어 테스트 세트 경계 상자 어노테이션의 필요성을 우회한다. 도전적인 자연 이미지 및 의료 이미지 데이터셋에서 여러 WSOL 방법으로 수행한 실험 결과, 제안하는 의사 경계 상자를 검증에 활용하면 모델 선택과 임계값 추정이 용이해지며, 검증 세트에서 GT 경계 상자로 선택하고 테스트 세트에서 임계값을 추정한 모델과 비슷한 위치 추정 성능을 달성함을 보였다. 또한 클래스 수준 레이블로 선택한 후 위치 추정 맵만으로 동적 임계값을 적용한 모델보다 우수한 성능을 나타냈다.
지도 2차 특징 분석: 차원 축소를 위한 정보 기하학 접근
Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction
지도 차원 축소는 클래스 분리를 유지하면서 레이블이 붙은 데이터를 저차원 특징 공간으로 매핑한다. 일반적인 전략은 클래스 조건부(class-conditional) 확률 분포 간 통계적 비유사성(dissimilarity) 측정을 최대화하는 특징을 학습하는 것이다. 리만 기하학(Riemannian geometry)에 뿌리를 둔 정보 기하학(information geometry)은 클래스 비유사성 측정을 위한 대안적 틀을 제공한다. 이는 확률 분포를 통계적 다양체(statistical manifold) 상의 점으로 취급하고, Fisher 정보 계량(Fisher information metric)을 사용하여 분포 간 측지 거리(geodesic distance)—Fisher-Rao 거리—를 정의한다. Fisher-Rao 거리는 Fisher 정보 계량이 국소적 변별력(discriminability)의 측도이고 기하학적 해석이 가능하기 때문에 클래스 분리 측정에 매력적인 후보이다. 본 논문에서는 가우시안 가정 하에서 클래스 조건부 분포 간 Fisher-Rao 거리를 최대화하는 선형 특징을 학습하는 지도 차원 축소 방법인 지도 2차 특징 분석(Supervised Quadratic Feature Analysis, SQFA)을 제안한다. 여러 실제 데이터셋에서 SQFA 특징은 더 널리 쓰이는 비유사성 측도를 최대화한 특징이나 다른 최신(state-of-the-art) 차원 축소 방법으로 학습된 특징과 경쟁력 있는 분류 정확도를 달성한다. 특히 차원 축소에서 드물게 사용되는 목적 함수인 Hellinger 거리를 최대화하는 SQFA 변형인 SQFA-H 특징이 최고의 분류 정확도를 달성한다. 이 결과는 지도 차원 축소 도구로서 정보 기하학의 잠재력을 보여준다. SQFA의 Python 구현은 https://github.com/dherrera1911/sqfa 에서 제공한다.
AbRank: A Benchmark Dataset and Metric-Learning Framework for Antibody-Antigen Affinity Ranking
Global Ground Metric Learning with Applications to scRNA data
토론
이 논문과 연결된 포럼 글이 아직 없습니다.