Cross-Modality Perturbation Synergy Attack for Person Re-identification
원문 초록
In recent years, there has been significant research focusing on addressing security concerns in single-modal person re-identification (ReID) systems that are based on RGB images. However, the safety of cross-modality scenarios, which are more commonly encountered in practical applications involving images captured by infrared cameras, has not received adequate attention. The main challenge in cross-modality ReID lies in effectively dealing with visual differences between different modalities. For instance, infrared images are typically grayscale, unlike visible images that contain color information. Existing attack methods have primarily focused on the characteristics of the visible image modality, overlooking the features of other modalities and the variations in data distribution among different modalities. This oversight can potentially undermine the effectiveness of these methods in image retrieval across diverse modalities. This study represents the first exploration into the security of cross-modality ReID models and proposes a universal perturbation attack specifically designed for cross-modality ReID. This attack optimizes perturbations by leveraging gradients from diverse modality data, thereby disrupting the discriminator and reinforcing the differences between modalities. We conducted experiments on three widely used cross-modality datasets, namely RegDB, SYSU, and LLCM. The results not only demonstrate the effectiveness of our method but also provide insights for future improvements in the robustness of cross-modality ReID systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GPF-Net: 용종 재식별을 위한 게이트 기반 점진적 융합 학습
GPF-Net: Gated Progressive Fusion Learning for Polyp Re-Identification
대장내시경 용종 재식별(Polyp Re-Identification, ReID)은 서로 다른 시점과 카메라로 촬영된 대규모 이미지 갤러리에서 동일한 용종을 매칭하는 것을 목표로 하며, 대장암 예방 및 치료를 위한 컴퓨터 보조 진단에서 중요한 역할을 합니다. 그러나 고수준 특징(feature)의 거친 세분성(coarse granularity)은 정확한 매칭을 위해 미세한 세부 정보가 필수적인 작은 용종에서의 성능을 종종 제한합니다. 이러한 문제를 해결하기 위해, 완전 연결 게이팅 메커니즘을 통해 여러 수준의 특징을 선택적으로 통합하는 새로운 다중 모달 특징 융합 아키텍처인 GPF-Net(Gated Progressive Fusion Network)을 제안합니다. 이 프레임워크를 기반으로, 의미론적 정보의 층(layer)별 정제를 가능하게 하고 다수준 특징 상호작용을 촉진하여 일반화 능력과 강건성을 모두 향상시키는 게이트 기반 점진적 융합 전략을 도입합니다. 표준 벤치마크에서의 광범위한 실험을 통해 범용 시나리오에 맞춤화된 제안 융합 전략과 결합했을 때 특히 최첨단(SOTA) 단일 모달 ReID 모델 대비 다중 모달 설정의 이점을 입증합니다.
연속 메타데이터 컨디셔닝을 활용한 동물 재식별을 위한 매개변수 효율적 비전-언어 적응
Parameter-Efficient Vision-Language Adaptation with Continuous Metadata Conditioning for Animal Re-Identification
장기 동물 재식별(ReID)은 점진적인 형태학적 변화와 계절적 외관 변화에 강인해야 한다. 최근 비전-언어(vision-language) 모델이 강력한 사전학습 시각 표현을 제공하지만, 이를 종단적 생태 환경에 적응시키는 것은 특히 개체 및 시간적 분포 변화 하에서 여전히 어렵다. 우리는 동물 ReID를 위한 매개변수 효율적 CLIP 적응 프레임워크를 제시하고, 학습 중 프롬프트 표현에 수치적 속성을 직접 통합하는 연속 메타데이터 컨디셔닝 메커니즘을 도입한다. 저순위 시각 적응, 프롬프트 기반 지도, 교차 모달 정렬이 적응 프레임워크를 구성하는 반면, 제안된 메타데이터 컨디셔닝 전략이 주된 방법론적 기여를 이룬다. 수치 메타데이터를 텍스트 범주로 이산화하지 않고 연속 구조를 보존함으로써, 제안된 접근법은 학습 중 임베딩 공간의 부드러운 변조를 가능하게 하면서 순수 시각 추론 파이프라인을 유지한다. 7년간의 종단적 어류 데이터셋과 여러 야생동물 벤치마크에서의 실험은 폐쇄형, 개방형 및 시간 인식 평가 프로토콜 하에서 향상된 성능을 보여준다. 결과는 연속 메타데이터 컨디셔닝이 종단적 외관 변화와 시간적 분포 변화에 대한 강인성을 향상시키는 반면, 매개변수 효율적 적응은 테스트 시 메타데이터 없이도 순수 시각 추론 파이프라인을 가능하게 함을 보여준다. 코드 및 평가 분할은 https://github.com/AnilOsmanTur/MetaPrompt-ReID에서 확인할 수 있다.
Spotted: 카메라 트랩 조사에서 위치 정보를 활용한 하이에나 및 표범 재식별
Spotted: Location-informed Reidentification of Hyenas and Leopards in Camera Trap Surveys
카메라 트랩 조사에서의 동물 재식별(ReID)은 낮은 이미지 품질, 조명과 시점의 큰 변화, 개체별 관측 수의 심각한 불균형으로 인해 여전히 어려운 과제로 남아 있다. 이로 인해 현재 ReID 성능은 완전 자동화 사용에 충분하지 않은 경우가 많으며, 실용적인 워크플로우는 알고리즘이 제안한 후보 매칭에 대한 전문가 검토에 의존하는 경우가 일반적이다. 또한 기존 접근 방식의 대부분은 시각적 단서에만 집중하며, 이미지 타임스탬프나 카메라 트랩 위치처럼 현장 연구에서 일상적으로 활용 가능한 보조 정보를 간과한다. 우리는 카메라 위치로부터 도출한 시공간 실현 가능성 사전 확률(spatio-temporal feasibility prior)을 시각적 유사도와 통합하여 전문가 검토 부담을 줄이는, 위치 정보 기반의 인간 참여형(human-in-the-loop) 동물 ReID 프레임워크인 Spotted를 소개한다. 우리 방법은 (i) 두 탐지가 동일 개체에 해당하기 위해 필요한 최소 이동 속도에 기반한 이미지 모델 무관(agnostic) 실현 가능성 점수를 계산하고, (ii) 이 실현 가능성 단서를 의사 지도(pseudo-supervision)로 활용하여 동결된 시각적 기반 모델 위에 경량 헤드를 학습시키며, (iii) 적응된 시각적 유사도와 시공간 실현 가능성을 융합하여 견고한 쌍별 매칭 점수를 산출한다. 또한 불확실한 예측을 초기에 우선 처리하는 능동적 쌍 샘플링(active pair sampling) 전략을 통합하여 어노테이션을 가속화한다. 우리는 본 연구의 일환으로 공개하는 점박이 하이에나와 표범으로 구성된 세 가지 도전적인 카메라 트랩 ReID 데이터셋에서 Spotted를 평가한다. 우리 모델은 LeopardID102, SpottedHyenaID109, SpottedHyenaID415 데이터셋에서 각각 최고 기준선(baseline) 대비 평균 상위 5위 식별 정확도를 9pp, 2pp, 9pp 향상시킨다. 또한 우리의 인간 참여형 전략이 동등한 양성 매칭을 달성하면서 질의 비교 횟수를 최대 69pp 감소시킴을 보인다.
Fursee: 퍼수트 신원 검색 및 클러스터링을 위한 하이브리드 YOLO-DINOv3 프레임워크
Fursee: Hybrid YOLO-DINOv3 Framework for Fursuit Identity Retrieval and Clustering
전 세계 furry 컨벤션에서는 대량의 퍼수트 사진이 생성되며, 수동 분류는 큰 인건비를 발생시키고 자동화된 신원 검색 및 클러스터링 솔루션을 필요로 한다. 일반적인 멀티모달 모델은 복잡한 퍼수트 장면에 대한 전용 최적화가 부족하며, 이 과업을 위한 공개 벤치마크 데이터셋도 존재하지 않는다. 이 공백을 메우기 위해, 우리는 특화된 퍼수트 이미지 데이터셋을 구축하고 퍼수트 신원 검색 및 클러스터링을 위한 3단계 하이브리드 파이프라인 Fursee를 제안한다. 첫째, YOLO가 고해상도 퍼수트 머리 패치를 검출하고 잘라내어 작고 겹치는 대상의 위치 특정을 개선한다. 둘째, ArcFace가 DINOv3 임베딩을 최적화하여 특징 초구면(feature hypersphere)에서 서로 다른 신원 간의 각도 분리를 확대한다. 셋째, DBSCAN이 비지도 클러스터링을 수행하며, 실루엣 계수(silhouette coefficient) 기반 탐색이 고정된 수동 반경 대신 최적 하이퍼파라미터를 자동으로 선택한다. 검색 및 클러스터링 실험을 통해 우리 파이프라인이 GPT5.5, Claude Opus 4.8, Qwen3.7-Plus를 포함한 주류 멀티모달 모델보다 모든 평가(evaluation) 지표에서 우수한 성능을 보임을 확인했으며, 퍼수트 머리 검색 및 그룹화에서 경쟁력 있는 성능을 달성했다.
DART$^3$: Leveraging Distance for Test Time Adaptation in Person Re-Identification
Try Harder: Hard Sample Generation and Learning for Clothes-Changing Person Re-ID
토론
이 논문과 연결된 포럼 글이 아직 없습니다.