arXiv:2305.12673

Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID

De Cheng, Lingfeng He, Nannan Wang, Shizhou Zhang, Zhen Wang, Xinbo Gao

제출 2023-05-22

원문 초록

Unsupervised visible-infrared person re-identification (USL-VI-ReID) aims to match pedestrian images of the same identity from different modalities without annotations. Existing works mainly focus on alleviating the modality gap by aligning instance-level features of the unlabeled samples. However, the relationships between cross-modality clusters are not well explored. To this end, we propose a novel bilateral cluster matching-based learning framework to reduce the modality gap by matching cross-modality clusters. Specifically, we design a Many-to-many Bilateral Cross-Modality Cluster Matching (MBCCM) algorithm through optimizing the maximum matching problem in a bipartite graph. Then, the matched pairwise clusters utilize shared visible and infrared pseudo-labels during the model training. Under such a supervisory signal, a Modality-Specific and Modality-Agnostic (MSMA) contrastive learning framework is proposed to align features jointly at a cluster-level. Meanwhile, the cross-modality Consistency Constraint (CC) is proposed to explicitly reduce the large modality discrepancy. Extensive experiments on the public SYSU-MM01 and RegDB datasets demonstrate the effectiveness of the proposed method, surpassing state-of-the-art approaches by a large margin of 8.76% mAP on average.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09443v1cs.CV공통 태그 Person Re-Identification, Contrastive Learning

연속 메타데이터 컨디셔닝을 활용한 동물 재식별을 위한 매개변수 효율적 비전-언어 적응

Parameter-Efficient Vision-Language Adaptation with Continuous Metadata Conditioning for Animal Re-Identification

장기 동물 재식별(ReID)은 점진적인 형태학적 변화와 계절적 외관 변화에 강인해야 한다. 최근 비전-언어(vision-language) 모델이 강력한 사전학습 시각 표현을 제공하지만, 이를 종단적 생태 환경에 적응시키는 것은 특히 개체 및 시간적 분포 변화 하에서 여전히 어렵다. 우리는 동물 ReID를 위한 매개변수 효율적 CLIP 적응 프레임워크를 제시하고, 학습 중 프롬프트 표현에 수치적 속성을 직접 통합하는 연속 메타데이터 컨디셔닝 메커니즘을 도입한다. 저순위 시각 적응, 프롬프트 기반 지도, 교차 모달 정렬이 적응 프레임워크를 구성하는 반면, 제안된 메타데이터 컨디셔닝 전략이 주된 방법론적 기여를 이룬다. 수치 메타데이터를 텍스트 범주로 이산화하지 않고 연속 구조를 보존함으로써, 제안된 접근법은 학습 중 임베딩 공간의 부드러운 변조를 가능하게 하면서 순수 시각 추론 파이프라인을 유지한다. 7년간의 종단적 어류 데이터셋과 여러 야생동물 벤치마크에서의 실험은 폐쇄형, 개방형 및 시간 인식 평가 프로토콜 하에서 향상된 성능을 보여준다. 결과는 연속 메타데이터 컨디셔닝이 종단적 외관 변화와 시간적 분포 변화에 대한 강인성을 향상시키는 반면, 매개변수 효율적 적응은 테스트 시 메타데이터 없이도 순수 시각 추론 파이프라인을 가능하게 함을 보여준다. 코드 및 평가 분할은 https://github.com/AnilOsmanTur/MetaPrompt-ReID에서 확인할 수 있다.

arXiv:2607.08085v1cs.CV공통 태그 Person Re-Identification, Contrastive Learning

다중 쿼리 차량 재식별을 위한 강화 뷰 전문가 혼합 및 대규모 벤치마크

Mixture of Enhanced-View Experts for Multi-Query Vehicle ReID and A Large-Scale Benchmark

다중 쿼리 차량 재식별(Multi-query Vehicle ReID)은 강건한 특징 학습을 위해 다양한 뷰의 보완적 정보를 활용하는 것을 목표로 한다. 그러나 현재 방법들은 단순한 특징 융합의 한계로 인해 일부 중요한 뷰 정보와 교차 뷰 관계를 쉽게 놓친다. 이러한 문제를 해결하기 위해, 본 연구는 강화 뷰 전문가 혼합(EV-MoE, Mixture of Enhanced-View Experts)이라는 새로운 접근법을 제안한다. EV-MoE는 각 뷰의 특징 표현을 강화하고 전문가 혼합(MoE)을 통해 뷰별 강화된 특징을 효율적으로 통합함으로써 강건한 다중 쿼리 ReID를 수행한다. 특히, 뷰별 특징 강화 서브모듈(VFEM, view-specific feature enhancement sub-Module)과 동적 다중 뷰 융합 서브모듈(DMFM, dynamic multi-view fusion sub-Module)의 두 부분으로 구성된 강화 뷰 전문가 혼합 모듈을 설계한다. 아울러, 양방향 교차 뷰 대조 학습과 재구성 제약을 통해 특징을 정렬하는 다중 뷰 정렬 손실(MAL, Multi-view Alignment Loss)을 추가로 도입하여, 다중 쿼리 특징과 단일 이미지 특징 간의 일관성 문제를 해결한다. 또한, 실제 환경에서 다중 쿼리 ReID를 평가하기 위해 1,090개의 신원, 107,805장의 이미지, 23,637개의 카메라로 구성된 대규모 차량 ReID 데이터셋 LCRI-1K를 수집하였으며, 각 차량은 평균 67.5개의 카메라에 등장하여 복잡한 환경에서의 강건성을 검증하는 포괄적인 벤치마크를 제공한다. 광범위한 실험을 통해 다중 쿼리 차량 ReID 문제에서 CAFNet의 강건성을 입증한다. 코드는 https://github.com/xiaozhen28/CAFNet에서 이용 가능하다.

arXiv:2607.01353v1cs.CV공통 태그 Person Re-Identification, Contrastive Learning

비디오 기반 사람 재식별을 위한 공간-시간적 전문가 학습

Spatial-Temporal Expert Learning for Video-based Person Re-identification

비디오 기반 사람 재식별(Re-ID)은 갤러리 비디오 클립에서 쿼리 비디오 클립과 동일한 신원을 검색하는 것을 목표로 한다. 이 문제를 해결하기 위해 세밀한 특징을 활용하는 것이 매우 중요하며, 특히 외형이 유사한 신원을 구별할 때 더욱 그러하다. 본 논문에서는 입력 인식 확장 가능 전문가 모듈(input-aware extendable expert module)을 통해 세밀한 정보를 탐색하는 능력을 향상시키는 방법을 제안한다. 데이터셋의 모든 샘플로 네트워크 파라미터를 업데이트하는 대신, 유사한 샘플만 포함하는 특정 서브셋 내에서 전문가들을 학습시키고 이러한 유사 샘플들 사이에서 세밀한 정보를 활용하는 능력을 향상시키고자 한다. 이를 위해 본 모듈에 두 가지 메커니즘을 통합한다: 입력 인식 전문가 선택 메커니즘과 공간-시간적 선택 메커니즘이다. 첫 번째 메커니즘은 유사 샘플 서브셋에서 전문가 집합을 동적으로 활성화하여 전문가들이 이러한 유사 샘플 간의 미묘한 차이를 활용하도록 유도하며, 두 번째 메커니즘은 공간적·시간적 측면에서의 세밀한 차이에 대한 민감도를 더욱 높이고 전문가들이 서로 다른 입력 샘플에 따라 이를 동적으로 활용할 수 있게 한다. 또한 전문가 모듈을 보완하기 위해, 필요 시 새로운 전문가를 유연하게 추가할 수 있는 확장 가능한 방식을 설계한다. 그 결과, 본 방법은 두 개의 대규모 데이터셋에서 뛰어난 성능을 달성한다.

arXiv:2607.04311v3cs.CV공통 태그 Contrastive Learning

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

arXiv:2607.05268v5cs.CV공통 태그 Contrastive Learning

기하 구조가 실제로 작동하는가? 쌍곡 비전-언어 모델의 위계에 대한 작동점 감사

Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models

쌍곡 비전-언어 모델은 추상성을 기하학적으로 인코딩하도록 설계되어 있다. 일반적인 개념은 원점 근처에, 구체적인 개념은 더 먼 곳에 놓이며, 함의 원뿔(entailment cone)은 방향성 있는 순서를 나타낸다. 본 연구는 학습된 MERU, HyCoCLIP, PHyCLIP 모델이 이러한 메커니즘을 실제로 사용하는지 묻는다. 공개된 일곱 개의 체크포인트와 이에 대응하는 처음부터 학습한 개입 모델을 감사한다. 감사한 수렴 체크포인트는 모두 무차원 반경 $u=\sqrt{c}\rho$에서 거의 유클리드적인 상태에 머문다. 이미지 측에서 관측된 최댓값은 $0.37$로, 국소 계량 왜곡이 $10\%$에 이르는 $u\approx0.84$에 크게 못 미친다. 곡률 하한을 해제하면 곡률과 노름은 변하지만 이 영역은 바뀌지 않으며, 하위 과제 성능 변화는 일관되지 않고 대체로 미미하다. 학습된 함의 원뿔은 포화되었거나 거의 포화되어 있어, 낮은 위반율은 학습된 순서가 아니라 지나치게 넓은 원뿔에서 비롯될 수 있다. 사전 등록된 의미 순회는 가지 내부의 약한 순서는 검출하지만 전체 위계를 읽어 내는 작동 가능한 판독은 검출하지 못한다. 셔플 대조 검정은 공개된 체크포인트에서 쌍별 고유의 반경 순서를 검출하지 못하며, 대응하는 세 개의 ViT-B 시드 전체에서 일관된 양성 결과도 없다. 이 비검출은 민감도에 의해 제한된다. 이 진단은 셔플 대조 초과분이 약 13.5 pp일 때에야 검정력 $80\%$에 도달하는 반면, 공개 모델 중 가장 큰 격차는 약 5 pp이다. 우리는 이를 낮은 곡률 지름길로 추적한다. 곡률을 낮추면 순서를 학습하지 않고도 함의 원뿔이 넓어져 위반이 억제된다. 조사한 궤적에서 그래디언트 분해는 붕괴 중 곡률을 낮추는 지배적 압력이 함의 항임을 보여 준다. 그러나 함의를 제거해도 곡률은 수축하므로 이 지름길이 유일한 원인은 아니다. 우리의 진단 아래에서 감사한 정식화들은 작동하는 반경 기반 또는 원뿔 기반 위계를 입증하지 못한다. 우리는 이 감사를 향후 위계 주장을 평가하기 위한 다섯 개 수치의 기하 보고서로 정리한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.