arXiv:2111.14411

PGGANet: Pose Guided Graph Attention Network for Person Re-identification

Zhijun He, Hongbo Zhao, Wenquan Feng

제출 2021-11-29

원문 초록

Person re-identification (reID) aims at retrieving a person from images captured by different cameras. For deep-learning-based reID methods, it has been proved that using local features together with global feature could help to give robust representation for person retrieval. Human pose information could provide the locations of human skeleton to effectively guide the network to pay more attention on these key areas and could also help to reduce the noise distractions from background or occlusion. However, methods proposed by previous pose-based works might not be able to fully exploit the benefits of pose information and few of them take into consideration the different contributions of separate local features. In this paper, we propose a pose guided graph attention network, a multi-branch architecture consisting of one branch for global feature, one branch for mid-granular body features and one branch for fine-granular key point features. We use a pre-trained pose estimator to generate the key-point heatmaps for local feature learning and carefully design a graph attention convolution layer to re-assign the contribution weights of extracted local features by modeling the similarities relations. Experiment results demonstrate the effectiveness of our approach on discriminative feature learning and we show that our model achieves state-of-the-art performances on several mainstream evaluation datasets. We also conduct a plenty of ablation studies and design different kinds of comparison experiments for our network to prove its effectiveness and robustness, including occluded experiments and cross-domain tests.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24539v1cs.CV공통 태그 Retrieval, Person Re-Identification

다중 모달 객체 재식별을 위한 유인 노이즈 및 구조적 사전 정보 주입

Incentive Noise and Structural Prior Infusion for Multi-modal Object Re-Identification

다중 모달 객체 재식별(ReID)은 이종 이미징 모달리티 전반의 상호보완적인 정보로부터 이점을 얻습니다. 의미론적 표현을 더욱 풍부하게 만들기 위해 최근에는 텍스트 설명이 추가적인 모달리티로 통합되었습니다. 그러나 최근의 비전-언어 접근 방식은 텍스트 설명을 노이즈 없는 결정론적 신호로 취급하는 경우가 많으며, 모달리티 불일치 문구와 의미론적으로 모호한 표현을 포함한 내재적 노이즈를 간과합니다. 나아가 기존 방식은 고수준의 의미론적 정렬을 거친 후에도 모달리티 간의 세밀한 구조적 불일치를 조정할 수 있는 명시적인 메커니즘이 부족합니다. 이러한 문제를 해결하기 위해, 우리는 긍정 유인 노이즈(Positive-Incentive Noise, $\pi$-noise)와 구조화된 프롬프트 변조를 중심으로 하는 새로운 프레임워크를 제안합니다. 첫째, 시맨틱 교차 모달 변조기(Semantic Cross-Modal Modulator)는 시각 및 텍스트 입력 모두에 조건화된 분포에서 샘플링된 태스크 인식 $\pi$-noise를 활용하여 글로벌 토큰을 섭동(perturb)시키고 의미론 유도 교차 모달 보상을 가능하게 합니다. 둘째, 구조 인식 프롬프트 어댑터(Structure-Aware Prompt Adapter)는 프롬프트를 통해 학습 가능한 기하학적 사전 정보를 주입하여 공간적 일관성을 강화합니다. 셋째, 컨텍스트 인식 희소 융합(Context-Aware Sparse Fusion) 모듈은 구조적 컨텍스트를 증류하여 적응형 융합을 유도하는 동시에 노이즈가 있는 로컬 세부 정보로부터 식별 특징을 보호합니다. 세 가지 다중 모달 ReID 벤치마크에 대한 실험을 통해 본 접근 방식의 유효성과 견고성을 입증합니다. 코드는 https://github.com/zw-absin/INSPI 에서 확인할 수 있습니다.

arXiv:2607.21057v1cs.CV공통 태그 Retrieval, Person Re-Identification

임의 세분화 수준의 텍스트 기반 인물 검색 달성

Achieving Text-based Person Retrieval with Any Granularity

텍스트 기반 인물 검색은 중요하지만 아직 충분히 탐구되지 않은 과제에 직면해 있다: 실제 시나리오에서 쿼리 세분화 수준(query granularity)의 고유한 불확실성. 본 논문은 새로운 패러다임인 Text-based Person Retrieval with Any Granularity를 제안하고 체계적인 해결책을 제공한다. 먼저, 5단계 세분화 스펙트럼을 형식화하고, 새로운 Multi-grained Text Annotation Engine을 통해 모든 세분화 수준에서 포괄적으로 주석이 달린 고품질 다중 세분화 데이터셋 UFine6926-MG를 구축한다. 둘째, 거친(coarse) 쿼리가 자연스럽게 여러 유효 후보에 대응한다는 점을 고려하여, 실제 세계 의미를 반영하는 점진적으로 상세한 텍스트와 교차-신원(cross-identity) 레이블을 갖춘 포괄적 평가 벤치마크 MG-Eval을, 맞춤형 평가 지표와 프로토콜과 함께 제안한다. 셋째, 포괄적 진단을 통해 기존 연구의 체계적 한계가 드러난 후, Cross-modal Multi-grained Aligning and Matching(CMAM) 프레임워크를 제안한다. CMAM은 다음을 통해 세분화 인식 검색을 달성한다: 1) 세분화별 특징을 분리하기 위한 직교 전문가(orthogonal-expert) 인지; 2) 쿼리 불확실성 하에서 다대다 매칭을 모델링하는 확률적 정렬; 3) 공동 교차-모달 세분화 검증을 통한 특징 학습 유도를 위한 세분화 일관 추론. 실험 결과 CMAM은 모든 세분화 수준에서 최신(state-of-the-art) 방법들을 크게 능가함을 보여준다. 본 연구는 기초 벤치마크와 견고한 기준선을 확립하여, 더 실용적인 인물 검색 시스템을 위한 길을 연다.

arXiv:2607.20247v1cs.CV공통 태그 Retrieval, Person Re-Identification

Vera: 정체성 충실 인물 주체-영상(S2V) 생성

Vera: Identity-Faithful Human Subject-to-Video Generation

주체-영상(S2V) 생성은 다양한 범주에 걸쳐 참조 주체를 보존하는 데 상당한 진전을 이루었지만, 일반적인 주체 일관성은 인물 중심 생성에는 여전히 불충분하다. 영상은 전역적으로 일관된 것처럼 보일 수 있지만, 정체성에 중요한 인물 세부 정보는 프레임, 포즈, 상호작용에 걸쳐 여전히 표류할 수 있다. 이 문제는 다인 시나리오에서 더 심각해지며, 여기서 잘못된 정체성-역할 결합은 주체 혼동, 속성 교환, 참조 이미지 고유 외형 단서의 과도한 복제를 초래한다. 우리는 단일 및 다인 생성을 위한 통합 인물 중심 S2V 프레임워크인 Vera를 제안한다. 우리는 먼저 사람 수준의 클립 간 검색(person-level cross-clip retrieval)을 통해 백만 쌍 규모의 정체성 정렬 인물 이미지-영상 데이터셋을 구축하여, 명시적 정체성 대응과 다양한 참조를 제공한다. 이 데이터셋을 기반으로 Vera는 두 가지 상호 보완적 설계를 도입한다. Identity-Focal Masked Supervision(IFMS)은 공간적으로 집중된 감독으로 정체성 인식 학습을 강화하면서 무관한 아티팩트의 간섭을 줄인다. Reference-Aware Layer-wise Attention(RALA)은 DiT 백본에서 영상 토큰이 참조 정체성 단서와 상호작용하는 방식을 조절하여, 안정적인 정체성 앵커를 보존하고 층 인식 정체성 readout을 향상시킨다. 광범위한 실험을 통해 Vera가 인물 정체성 일관성, 다인 주체 결합, 모션 자연스러움을 개선하고, 정체성 혼동과 참조 이미지의 과도한 복제를 줄임을 보여준다.

arXiv:2607.23132v2cs.CV공통 태그 Retrieval

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.