arXiv:2409.05277

Disentangled Representations for Short-Term and Long-Term Person Re-Identification

Chanho Eom, Wonkyung Lee, Geon Lee, Bumsub Ham

제출 2024-09-09

원문 초록

We address the problem of person re-identification (reID), that is, retrieving person images from a large dataset, given a query image of the person of interest. A key challenge is to learn person representations robust to intra-class variations, as different persons could have the same attribute, and persons' appearances look different, e.g., with viewpoint changes. Recent reID methods focus on learning person features discriminative only for a particular factor of variations (e.g., human pose), which also requires corresponding supervisory signals (e.g., pose annotations). To tackle this problem, we propose to factorize person images into identity-related and unrelated features. Identity-related features contain information useful for specifying a particular person (e.g., clothing), while identity-unrelated ones hold other factors (e.g., human pose). To this end, we propose a new generative adversarial network, dubbed identity shuffle GAN (IS-GAN). It disentangles identity-related and unrelated features from person images through an identity-shuffling technique that exploits identification labels alone without any auxiliary supervisory signals. We restrict the distribution of identity-unrelated features or encourage the identity-related and unrelated features to be uncorrelated, facilitating the disentanglement process. Experimental results validate the effectiveness of IS-GAN, showing state-of-the-art performance on standard reID benchmarks, including Market-1501, CUHK03, and DukeMTMC-reID. We further demonstrate the advantages of disentangling person representations on a long-term reID task, setting a new state of the art on a Celeb-reID dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10722v1cs.CV공통 태그 Disentanglement, Attribute

LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용

LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation

본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.

arXiv:2607.22705v1cs.CV공통 태그 Disentanglement, Attribute

EditCLEVR: 객체 중심 표현의 구성적 충실성을 위한 전후 쌍 장면 개입 벤치마크

EditCLEVR: A Paired-Scene Intervention Benchmark for Compositional Faithfulness of Object-Centric Representations

객체 중심 학습(object-centric learning)은 장면을 객체 단위로 표현하여 각 객체의 속성을 새로운 조합에서 재사용할 수 있게 하는 것을 목표로 한다. 기존 평가는 일반적으로 분할(segmentation), 단일 이미지 요인(factor) 예측, 또는 하류(downstream) 정확도를 점수화하지만, 이러한 테스트는 통제된 의미적 편집(semantic edit) 하에서 객체별(per-object) 표현이 올바르게 동작하는지를 직접적으로 검증하지는 않는다. 우리는 EditCLEVR을 소개한다. EditCLEVR은 전후 쌍 장면 개입 벤치마크로, 각 예시는 동일한 객체 인덱스와 장면 레이아웃을 가진 CLEVR 스타일 렌더의 전/후 쌍을 포함하며, 알려진 한 객체에 대한 정확히 하나의 알려진 속성 변경이 있거나 드리프트(drift) 측정을 위한 편집 없는(no-edit) 재렌더링을 포함한다. 이 프로토콜은 표현 변화의 국소화(localization) 및 안정성(stability)에 대한 프로브 없는(probe-free) 진단을 포함하며, 분포 내(in-distribution) 및 구성적 분포 외(compositional out-of-distribution, OOD) 테스트 스위트에서 예측된 장면 변화가 의도된 개입과 일치하는지를 검증하는 프로브 디코딩(probe-decoded) 의미적 충실성 지표와 함께 제공된다. 이를 통해 코드 공간(code-space) 이동과 디코딩된 객체-속성 정확도를 별도로 평가할 수 있다. 우리는 의미적 지표 Scene-Graph Intervention Accuracy(SGIA)를 도입한다. SGIA는 전체 after-scene 예측이 정확하고, 전에서 후로 예측된 유일한 의미적 변화가 의도된 객체-요인(object-factor) 편집이어야 한다. 또한 Delta-SGIA를 보조 진단으로 정립한다. Delta-SGIA는 전체 after-scene 그래프가 정확할 필요 없이 단일 위치(single-site) 변경 패턴을 검증한다. 정답 마스크(ground-truth-mask) 백본, 학습된 슬롯(learned-slot) 모델, SAM 2 + frozen-ViT 모델, 그리고 하나의 마스크-특징(mask-feature) 하이브리드에 대한 기준선 평가 결과, CoGenT-OOD-core 성능 저하는 정답 인스턴스 마스크 하에서도 지속될 수 있으며, 마스크 출처는 고유 성능의 일부만 설명하고 전부는 아니며, 국소성(locality) 또는 안정성만으로는 의미적 충실성을 과대평가할 수 있음을 보여준다. 코드는 https://github.com/torux-bughunter/EditCLEVR 에서 이용할 수 있다.

arXiv:2607.22919v1cs.CV공통 태그 Disentanglement, Attribute

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

arXiv:2607.21057v1cs.CV공통 태그 Person Re-Identification, Disentanglement

임의 세분화 수준의 텍스트 기반 인물 검색 달성

Achieving Text-based Person Retrieval with Any Granularity

텍스트 기반 인물 검색은 중요하지만 아직 충분히 탐구되지 않은 과제에 직면해 있다: 실제 시나리오에서 쿼리 세분화 수준(query granularity)의 고유한 불확실성. 본 논문은 새로운 패러다임인 Text-based Person Retrieval with Any Granularity를 제안하고 체계적인 해결책을 제공한다. 먼저, 5단계 세분화 스펙트럼을 형식화하고, 새로운 Multi-grained Text Annotation Engine을 통해 모든 세분화 수준에서 포괄적으로 주석이 달린 고품질 다중 세분화 데이터셋 UFine6926-MG를 구축한다. 둘째, 거친(coarse) 쿼리가 자연스럽게 여러 유효 후보에 대응한다는 점을 고려하여, 실제 세계 의미를 반영하는 점진적으로 상세한 텍스트와 교차-신원(cross-identity) 레이블을 갖춘 포괄적 평가 벤치마크 MG-Eval을, 맞춤형 평가 지표와 프로토콜과 함께 제안한다. 셋째, 포괄적 진단을 통해 기존 연구의 체계적 한계가 드러난 후, Cross-modal Multi-grained Aligning and Matching(CMAM) 프레임워크를 제안한다. CMAM은 다음을 통해 세분화 인식 검색을 달성한다: 1) 세분화별 특징을 분리하기 위한 직교 전문가(orthogonal-expert) 인지; 2) 쿼리 불확실성 하에서 다대다 매칭을 모델링하는 확률적 정렬; 3) 공동 교차-모달 세분화 검증을 통한 특징 학습 유도를 위한 세분화 일관 추론. 실험 결과 CMAM은 모든 세분화 수준에서 최신(state-of-the-art) 방법들을 크게 능가함을 보여준다. 본 연구는 기초 벤치마크와 견고한 기준선을 확립하여, 더 실용적인 인물 검색 시스템을 위한 길을 연다.

arXiv:2607.11281v1cs.CV공통 태그 Generative Adversarial Network, Disentanglement

악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크

The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer

헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.