arXiv:2401.02162

Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification

Yukang Zhang, Yang Lu, Yan Yan, Hanzi Wang, Xuelong Li

제출 2024-01-04

원문 초록

The key of visible-infrared person re-identification (VIReID) lies in how to minimize the modality discrepancy between visible and infrared images. Existing methods mainly exploit the spatial information while ignoring the discriminative frequency information. To address this issue, this paper aims to reduce the modality discrepancy from the frequency domain perspective. Specifically, we propose a novel Frequency Domain Nuances Mining (FDNM) method to explore the cross-modality frequency domain information, which mainly includes an amplitude guided phase (AGP) module and an amplitude nuances mining (ANM) module. These two modules are mutually beneficial to jointly explore frequency domain visible-infrared nuances, thereby effectively reducing the modality discrepancy in the frequency domain. Besides, we propose a center-guided nuances mining loss to encourage the ANM module to preserve discriminative identity information while discovering diverse cross-modality nuances. Extensive experiments show that the proposed FDNM has significant advantages in improving the performance of VIReID. Specifically, our method outperforms the second-best method by 5.2\% in Rank-1 accuracy and 5.8\% in mAP on the SYSU-MM01 dataset under the indoor search mode, respectively. Besides, we also validate the effectiveness and generalization of our method on the challenging visible-infrared face recognition task. \textcolor{magenta}{The code will be available.}

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23542v1cs.CV공통 태그 Person Re-Identification, Face Recognition

GaitFace: 장거리 사람 식별을 위한 멀티모달 데이터셋

GaitFace: A Multimodal Dataset for Long-Range Person Identification

효율적인 국경 통제는 심각한 혼잡과 승객 대기 시간 연장으로 인해 전 세계적으로 중요한 과제가 되고 있다. 이러한 병목 현상을 완화하고 승객 흐름을 원활하게 하기 위해, 생체 인식 기술이 신원 확인을 간소화하고 통과 효율을 높이기 위해 점점 더 많이 배치되고 있다. 기술적 한계는 종종 생체 식별을 방해하며, 특히 장거리 감시 환경에서는 시스템이 불리한 대기 조건과 저하된 이미지 품질을 다루어야 한다. BRIAR와 같은 고품질 프레임워크가 존재하지만, 이들은 종종 특정 정부 기관으로 제한된다. 본 논문은 장거리에서 촬영된 얼굴 및 보행(gait) 데이터를 포함하는 새로운 공개 데이터셋인 GaitFace를 소개한다. 연구가 실제 국경 시나리오를 반영하도록, 여행자가 모바일 기기를 통해 등록하는 사전 등록(Pre-Enrollment) 데이터와, 여러 시점과 서로 다른 카메라에서 원거리 개인을 기록하는 "In-the-Wild" 촬영 데이터를 사용한다. 최신(state-of-the-art) 얼굴 및 보행 모델에 대한 벤치마킹 결과, 현재 아키텍처는 광학 보조를 통해 성공했음에도 불구하고 저해상도와 높은 시점에서 실패함을 보여준다. GaitFace는 이러한 중요한 취약점을 드러내며, 더 견고하고 제약 없는(unconstrained) 생체 인식 연구를 촉진하기 위한 엄격한 공개 벤치마크를 제공한다.

arXiv:2607.13669v1cs.CV공통 태그 Person Re-Identification, Face Recognition

언어 및 모달리티 제약을 넘어서는 화자 신원 학습: POLY-SIM 2026 챌린지의 통찰

Learning Speaker Identity Beyond Language and Modality Constraints: Insights from the POLY-SIM 2026 Challenge

다중모달 화자 식별 시스템은 일반적으로 학습과 테스트 모두에서 완전하고 동질적인 시청각 모달리티를 사용할 수 있다고 가정하며, 각 화자가 단일 언어만 사용한다고 가정한다. 그러나 실제 응용에서는 이러한 가정이 종종 성립하지 않는다. 시각 또는 음향 정보는 가림, 카메라 또는 마이크 고장, 또는 프라이버시 제약으로 인해 누락될 수 있다. 다국어 화자는 언어 간 언어학적 변동성으로 인해 추가적인 복잡성을 야기한다. 이러한 상황은 다중모달 화자 식별 시스템의 견고성과 일반화 능력에 상당한 도전을 제기한다. POLY-SIM 2026 챌린지의 목적은 화자 식별의 이러한 측면을 다루고, 제안된 솔루션들의 비교를 위한 표준화된 설정을 제공하는 것이다.

arXiv:2607.08402v1cs.CV공통 태그 Person Re-Identification, Face Recognition

얼굴 교체로 프라이버시 보호, 특징 보존으로 활용성 유지: ITS 보행자 프라이버시를 위한 이중 목적 파이프라인

Swapping Faces, Saving Features: A Dual-Purpose Pipeline for Pedestrian Privacy in ITS

자율주행차(AV)가 실시간 의사결정을 수행하도록 AI 모델을 학습시키려면 대규모의 다양한 데이터셋이 필요하며, 이는 지능형 교통 시스템(ITS)의 핵심 응용 분야다. 보행자 의도 및 궤적 예측은 자율주행차에서 중요하게 사용되는 모델로, 다양한 보행자 이미지를 포함하는 데이터셋을 필요로 한다. 이러한 데이터셋에 대한 무제한 접근은 신원 도용 및 보행자 추적과 같은 심각한 보안 위험을 초래한다. 문제는 모델 학습에 필요한 이미지 속성을 유지하면서 프라이버시 보호 절차를 적용하는 것이다. 기존 프라이버시 기법들은 보행자의 프라이버시를 보호할 수 있으나 이미지 활용성을 저하시켜 모델의 효과를 저해한다. 본 연구는 얼굴 교체(face swapping)를 통해 보행자의 프라이버시를 보호하면서 필수적인 얼굴 속성을 온전히 유지하는 5단계 파이프라인을 구현하는 데 초점을 맞춘다. 이 파이프라인은 Egy-DRiVeS 데이터셋의 프라이버시 요구 사항을 충족하도록 설계되었다. 또한 Roop와 Ghost-v2 얼굴 교체 모델을 평가하였으며, 실험 결과 Roop가 여러 측면에서 Ghost-v2보다 우수한 성능을 보임을 확인하였다. 이에 따라 신원 은폐를 통한 보행자 프라이버시 보호와 얼굴 속성 보존을 통한 데이터 활용성 간의 균형을 달성하기 위해 Roop를 파이프라인의 얼굴 교체 모델로 채택하였다.

arXiv:2606.03694v2cs.RO공통 태그 Person Re-Identification, Face Recognition

인간-로봇 상호작용을 위한 얼굴 대 신체 추적: 에고센트릭 데이터셋

Face versus Body Tracking for Human-Robot Interaction: An Egocentric Dataset

의미 있는 인간-로봇 상호작용(HRI)을 위해서는 로봇이 지속적인 사용자 추적을 통해 사용자 참여도를 지속적으로 평가해야 한다. 그러나 최신 다중 객체 추적(Multi-Object Tracking) 모델은 감시 또는 자율 주행에 최적화되어 있다. 소셜 로봇은 인간이 예측 불가능한 비선형 패턴으로 이동하거나, 서로를 가리거나, 장면을 벗어났다가 다시 진입하는 등 에고센트릭(egocentric) 특유의 어려움에 직면한다. 이러한 역동성은 빈번한 신원 전환(IDSW)을 유발하여 로봇이 대화 도중 추적 대상을 잃게 만든다. 이를 해결하기 위해 Furhat 로봇을 통해 수집한 집중적이고 맞춤형 어노테이션이 적용된 에고센트릭 데이터셋을 소개한다. 본 논문은 탐지 오류와 추적 로직을 분리하고, 얼굴 추적과 신체 추적을 비교하며, 확장된 메모리와 외관 재식별(ReID)의 영향을 평가하는 체계적인 평가를 제시한다. 결과에 따르면, 시간적 메모리를 늘리면 장시간 가림(occlusion)은 완화되지만 복잡한 동적 이벤트에서는 효과가 없다. ReID를 통합하면 복잡한 전환 문제는 해결되나 상반된 효과를 나타낸다: 신체 추적 안정성은 크게 향상되는 반면, 프로필 각도 민감성으로 인해 얼굴 IDSW가 급증한다. 최종적으로 최적화된 파이프라인은 표준 탐지 기반 추적 기준선(baseline) 대비 IDSW를 49% 감소시켜 상호작용 중단을 효과적으로 완화한다. 표준 벤치마크에는 밀집된 근거리 가림 상황이 부재하므로, 본 연구는 HRI 인식 모델을 진정으로 검증하기 위해 자연스럽게 포착된 소셜 역동성 데이터셋의 절실한 필요성을 강조한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.