When Person Re-identification Meets Changing Clothes
원문 초록
Person re-identification (ReID) is now an active research topic for AI-based video surveillance applications such as specific person search, but the practical issue that the target person(s) may change clothes (clothes inconsistency problem) has been overlooked for long. For the first time, this paper systematically studies this problem. We first overcome the difficulty of lack of suitable dataset, by collecting a small yet representative real dataset for testing whilst building a large realistic synthetic dataset for training and deeper studies. Facilitated by our new datasets, we are able to conduct various interesting new experiments for studying the influence of clothes inconsistency. We find that changing clothes makes ReID a much harder problem in the sense of bringing difficulties to learning effective representations and also challenges the generalization ability of previous ReID models to identify persons with unseen (new) clothes. Representative existing ReID models are adopted to show informative results on such a challenging setting, and we also provide some preliminary efforts on improving the robustness of existing models on handling the clothes inconsistency issue in the data. We believe that this study can be inspiring and helpful for encouraging more researches in this direction. The dataset is available on the project website: https://wanfb.github.io/dataset.html.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SeCap: Self-Calibrating and Adaptive Prompts for Cross-view Person Re-Identification in Aerial-Ground Networks
MARS: Paying more attention to visual attributes for text-based person search
인물 검색을 위한 확산 모델 사전 지식 활용
Leveraging Prior Knowledge of Diffusion Model for Person Search
인물 검색은 크롭되지 않은 장면 이미지 갤러리 내에서 쿼리 인물을 위치 특정하고 식별함으로써 인물 검출과 재식별을 공동으로 수행하는 것을 목표로 한다. 기존 방법들은 주로 ImageNet 사전학습 백본을 활용하며, 이는 인물 검색에 필요한 복잡한 공간적 문맥과 세밀한 신원 단서를 포착하기에 최적이 아닐 수 있다. 또한 인물 검출과 재식별 모두에 공유 백본 특징에 의존하여, 상충하는 최적화 목표로 인해 차선의 특징이 생성된다. 본 논문에서는 두 하위 작업 간 최적화 충돌을 제거하면서 사전학습된 확산 모델을 활용하는 새로운 프레임워크인 DiffPS(Diffusion Prior Knowledge for Person Search)를 제안한다. 확산 사전 지식의 핵심 특성을 분석하고 세 가지 특화 모듈을 제안한다: (i) 향상된 인물 위치 특정을 위한 Diffusion-Guided Region Proposal Network(DGRPN), (ii) 형태 바이어스를 완화하기 위한 Multi-Scale Frequency Refinement Network(MSFRN), (iii) 텍스트 정렬 확산 특징을 활용하기 위한 Semantic-Adaptive Feature Aggregation Network(SFAN). DiffPS는 CUHK-SYSU와 PRW에서 새로운 최첨단 성능을 달성한다.
Cerberus: Attribute-based person re-identification using semantic IDs
DMRNet++: Learning Discriminative Features with Decoupled Networks and Enriched Pairs for One-Step Person Search
Improved Instance Discrimination and Feature Compactness for End-to-End Person Search
토론
이 논문과 연결된 포럼 글이 아직 없습니다.