Learning Context-Aware Embedding for Person Search
원문 초록
Person Search is a relevant task that aims to jointly solve Person Detection and Person Re-identification(re-ID). Though most previous methods focus on learning robust individual features for retrieval, it's still hard to distinguish confusing persons because of illumination, large pose variance, and occlusion. Contextual information is practically available in person search task which benefits searching in terms of reducing confusion. To this end, we present a novel contextual feature head named Attention Context-Aware Embedding(ACAE) which enhances contextual information. ACAE repeatedly reviews the person features within and across images to find similar pedestrian patterns, allowing it to implicitly learn to find possible co-travelers and efficiently model contextual relevant instances' relations. Moreover, we propose Image Memory Bank to improve the training efficiency. Experimentally, ACAE shows extensive promotion when built on different one-step methods. Our overall methods achieve state-of-the-art results compared with previous one-step methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 모달 객체 재식별을 위한 유인 노이즈 및 구조적 사전 정보 주입
Incentive Noise and Structural Prior Infusion for Multi-modal Object Re-Identification
다중 모달 객체 재식별(ReID)은 이종 이미징 모달리티 전반의 상호보완적인 정보로부터 이점을 얻습니다. 의미론적 표현을 더욱 풍부하게 만들기 위해 최근에는 텍스트 설명이 추가적인 모달리티로 통합되었습니다. 그러나 최근의 비전-언어 접근 방식은 텍스트 설명을 노이즈 없는 결정론적 신호로 취급하는 경우가 많으며, 모달리티 불일치 문구와 의미론적으로 모호한 표현을 포함한 내재적 노이즈를 간과합니다. 나아가 기존 방식은 고수준의 의미론적 정렬을 거친 후에도 모달리티 간의 세밀한 구조적 불일치를 조정할 수 있는 명시적인 메커니즘이 부족합니다. 이러한 문제를 해결하기 위해, 우리는 긍정 유인 노이즈(Positive-Incentive Noise, $\pi$-noise)와 구조화된 프롬프트 변조를 중심으로 하는 새로운 프레임워크를 제안합니다. 첫째, 시맨틱 교차 모달 변조기(Semantic Cross-Modal Modulator)는 시각 및 텍스트 입력 모두에 조건화된 분포에서 샘플링된 태스크 인식 $\pi$-noise를 활용하여 글로벌 토큰을 섭동(perturb)시키고 의미론 유도 교차 모달 보상을 가능하게 합니다. 둘째, 구조 인식 프롬프트 어댑터(Structure-Aware Prompt Adapter)는 프롬프트를 통해 학습 가능한 기하학적 사전 정보를 주입하여 공간적 일관성을 강화합니다. 셋째, 컨텍스트 인식 희소 융합(Context-Aware Sparse Fusion) 모듈은 구조적 컨텍스트를 증류하여 적응형 융합을 유도하는 동시에 노이즈가 있는 로컬 세부 정보로부터 식별 특징을 보호합니다. 세 가지 다중 모달 ReID 벤치마크에 대한 실험을 통해 본 접근 방식의 유효성과 견고성을 입증합니다. 코드는 https://github.com/zw-absin/INSPI 에서 확인할 수 있습니다.
임의 세분화 수준의 텍스트 기반 인물 검색 달성
Achieving Text-based Person Retrieval with Any Granularity
텍스트 기반 인물 검색은 중요하지만 아직 충분히 탐구되지 않은 과제에 직면해 있다: 실제 시나리오에서 쿼리 세분화 수준(query granularity)의 고유한 불확실성. 본 논문은 새로운 패러다임인 Text-based Person Retrieval with Any Granularity를 제안하고 체계적인 해결책을 제공한다. 먼저, 5단계 세분화 스펙트럼을 형식화하고, 새로운 Multi-grained Text Annotation Engine을 통해 모든 세분화 수준에서 포괄적으로 주석이 달린 고품질 다중 세분화 데이터셋 UFine6926-MG를 구축한다. 둘째, 거친(coarse) 쿼리가 자연스럽게 여러 유효 후보에 대응한다는 점을 고려하여, 실제 세계 의미를 반영하는 점진적으로 상세한 텍스트와 교차-신원(cross-identity) 레이블을 갖춘 포괄적 평가 벤치마크 MG-Eval을, 맞춤형 평가 지표와 프로토콜과 함께 제안한다. 셋째, 포괄적 진단을 통해 기존 연구의 체계적 한계가 드러난 후, Cross-modal Multi-grained Aligning and Matching(CMAM) 프레임워크를 제안한다. CMAM은 다음을 통해 세분화 인식 검색을 달성한다: 1) 세분화별 특징을 분리하기 위한 직교 전문가(orthogonal-expert) 인지; 2) 쿼리 불확실성 하에서 다대다 매칭을 모델링하는 확률적 정렬; 3) 공동 교차-모달 세분화 검증을 통한 특징 학습 유도를 위한 세분화 일관 추론. 실험 결과 CMAM은 모든 세분화 수준에서 최신(state-of-the-art) 방법들을 크게 능가함을 보여준다. 본 연구는 기초 벤치마크와 견고한 기준선을 확립하여, 더 실용적인 인물 검색 시스템을 위한 길을 연다.
Vera: 정체성 충실 인물 주체-영상(S2V) 생성
Vera: Identity-Faithful Human Subject-to-Video Generation
주체-영상(S2V) 생성은 다양한 범주에 걸쳐 참조 주체를 보존하는 데 상당한 진전을 이루었지만, 일반적인 주체 일관성은 인물 중심 생성에는 여전히 불충분하다. 영상은 전역적으로 일관된 것처럼 보일 수 있지만, 정체성에 중요한 인물 세부 정보는 프레임, 포즈, 상호작용에 걸쳐 여전히 표류할 수 있다. 이 문제는 다인 시나리오에서 더 심각해지며, 여기서 잘못된 정체성-역할 결합은 주체 혼동, 속성 교환, 참조 이미지 고유 외형 단서의 과도한 복제를 초래한다. 우리는 단일 및 다인 생성을 위한 통합 인물 중심 S2V 프레임워크인 Vera를 제안한다. 우리는 먼저 사람 수준의 클립 간 검색(person-level cross-clip retrieval)을 통해 백만 쌍 규모의 정체성 정렬 인물 이미지-영상 데이터셋을 구축하여, 명시적 정체성 대응과 다양한 참조를 제공한다. 이 데이터셋을 기반으로 Vera는 두 가지 상호 보완적 설계를 도입한다. Identity-Focal Masked Supervision(IFMS)은 공간적으로 집중된 감독으로 정체성 인식 학습을 강화하면서 무관한 아티팩트의 간섭을 줄인다. Reference-Aware Layer-wise Attention(RALA)은 DiT 백본에서 영상 토큰이 참조 정체성 단서와 상호작용하는 방식을 조절하여, 안정적인 정체성 앵커를 보존하고 층 인식 정체성 readout을 향상시킨다. 광범위한 실험을 통해 Vera가 인물 정체성 일관성, 다인 주체 결합, 모션 자연스러움을 개선하고, 정체성 혼동과 참조 이미지의 과도한 복제를 줄임을 보여준다.
DMRNet++: Learning Discriminative Features with Decoupled Networks and Enriched Pairs for One-Step Person Search
Semantic Structure Enhanced Contrastive Adversarial Hash Network for Cross-media Representation Learning
Improved Instance Discrimination and Feature Compactness for End-to-End Person Search
토론
이 논문과 연결된 포럼 글이 아직 없습니다.