Illumination-Adaptive Person Re-identification
원문 초록
Most person re-identification (ReID) approaches assume that person images are captured under relatively similar illumination conditions. In reality, long-term person retrieval is common, and person images are often captured under different illumination conditions at different times across a day. In this situation, the performances of existing ReID models often degrade dramatically. This paper addresses the ReID problem with illumination variations and names it as {\em Illumination-Adaptive Person Re-identification (IA-ReID)}. We propose an Illumination-Identity Disentanglement (IID) network to dispel different scales of illuminations away while preserving individuals' identity information. To demonstrate the illumination issue and to evaluate our model, we construct two large-scale simulated datasets with a wide range of illumination variations. Experimental results on the simulated datasets and real-world images demonstrate the effectiveness of the proposed framework.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PERSONAWEAVER: 절차적 캐릭터 생성에서 기존의 전형을 뛰어넘는 제어 가능한 다양성 확보
PERSONAWEAVER: Controllable Diversity Beyond Conventional Archetypes in Procedural Character Generation
절차적 캐릭터 생성(procedural character generation)은 게임, 시뮬레이션 및 기타 가상 세계를 다양한 캐릭터로 채우는 것을 목표로 합니다. 대규모 언어 모델(LLM)은 이 작업을 확장(scaling)하기 위한 유망한 기반을 제공합니다. 그러나 LLM 기반 절차적 캐릭터 생성은 아직 초기 단계에 머물러 있습니다. 기존 방식은 캐릭터를 직접 생성하거나 페르소나 뱅크에서 검색한 프로필을 조정하는 방식입니다. 본 연구에서 보여주듯이 두 접근법 모두 행동적으로 동질화된 집단을 형성합니다. 캐릭터들은 긍정적인 도덕적 규범에 압도적으로 동의하며, 질문에 대해 도움이 되는 어시스턴트 같은 반응을 보입니다. 이러한 동질화를 완화하기 위해, 본 논문에서는 세계관 구축과 행동 명세를 분리하고 수작업으로 큐레이션된 다양하고 보편적인 도덕적 입장 및 대화 반응 뱅크를 통해 행동을 모델링하는 PersonaWeaver를 소개합니다. 이러한 설계를 통해 여러 배경 설정 전반에서 LLM이 기본 행동 패턴을 넘어 얼마나 확장될 수 있는지 테스트할 수 있습니다. 10개의 현실적 및 판타지적 배경 설정과 3개의 LLM을 대상으로 한 실험에서, PersonaWeaver는 이전 연구보다 더 넓은 도덕적 및 상호작용적 반응 분포를 생성합니다. 또한 PersonaWeaver의 유도는 대인 언어, 응답 길이, 감정을 다양화하며, 덜 전형적인 세계관 속성 조합을 생성합니다. 코드는 https://github.com/mqraitem/PersonaWeaver 에서 확인할 수 있습니다.
다중 모달 객체 재식별을 위한 유인 노이즈 및 구조적 사전 정보 주입
Incentive Noise and Structural Prior Infusion for Multi-modal Object Re-Identification
다중 모달 객체 재식별(ReID)은 이종 이미징 모달리티 전반의 상호보완적인 정보로부터 이점을 얻습니다. 의미론적 표현을 더욱 풍부하게 만들기 위해 최근에는 텍스트 설명이 추가적인 모달리티로 통합되었습니다. 그러나 최근의 비전-언어 접근 방식은 텍스트 설명을 노이즈 없는 결정론적 신호로 취급하는 경우가 많으며, 모달리티 불일치 문구와 의미론적으로 모호한 표현을 포함한 내재적 노이즈를 간과합니다. 나아가 기존 방식은 고수준의 의미론적 정렬을 거친 후에도 모달리티 간의 세밀한 구조적 불일치를 조정할 수 있는 명시적인 메커니즘이 부족합니다. 이러한 문제를 해결하기 위해, 우리는 긍정 유인 노이즈(Positive-Incentive Noise, $\pi$-noise)와 구조화된 프롬프트 변조를 중심으로 하는 새로운 프레임워크를 제안합니다. 첫째, 시맨틱 교차 모달 변조기(Semantic Cross-Modal Modulator)는 시각 및 텍스트 입력 모두에 조건화된 분포에서 샘플링된 태스크 인식 $\pi$-noise를 활용하여 글로벌 토큰을 섭동(perturb)시키고 의미론 유도 교차 모달 보상을 가능하게 합니다. 둘째, 구조 인식 프롬프트 어댑터(Structure-Aware Prompt Adapter)는 프롬프트를 통해 학습 가능한 기하학적 사전 정보를 주입하여 공간적 일관성을 강화합니다. 셋째, 컨텍스트 인식 희소 융합(Context-Aware Sparse Fusion) 모듈은 구조적 컨텍스트를 증류하여 적응형 융합을 유도하는 동시에 노이즈가 있는 로컬 세부 정보로부터 식별 특징을 보호합니다. 세 가지 다중 모달 ReID 벤치마크에 대한 실험을 통해 본 접근 방식의 유효성과 견고성을 입증합니다. 코드는 https://github.com/zw-absin/INSPI 에서 확인할 수 있습니다.
텍스트 조건 변환을 통한 임베딩 공간 제어
Controlling Embedding Spaces with Text-Conditioned Transformations
CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/
딥 서치에서의 위임 지능: 분리된 역량 진단을 위한 제어 가능한 프레임워크
Delegation Intelligence in Deep Search: A Controllable Framework for Disentangled Capability Diagnosis
딥 서치(deep search)는 현대 에이전트 시스템의 핵심 역량이 되어 가고 있지만, 일반적으로 최종 답변 정확도(end-to-end answer accuracy)만을 기준으로 평가된다. 이러한 결합된 평가 패러다임은 검색(retrieval) 품질, 장문맥 이해, 증거 검증, 도구 사용(tool-use) 결정을 얽어버려, 모델이 실제로 언제 그리고 어떻게 정보 탐색을 검색에 위임해야 하는지 알고 있는지 판단하기 어렵게 만든다. 이를 위해: (1) 우리는 이 메타 역량을 딥 서치에서의 위임 지능(Delegation Intelligence in deep search)으로 형식화하고, 이를 상보적인 차원—검색 의사결정(Search Decision-Making, 정보 부족을 인식하고 검색 여부, 시점, 방법을 결정하는 것)과 정보 종합 및 검증(Information Synthesis and Verification, 여러 출처의 증거를 집계하고 출처 신뢰성을 판단하며, 잡음이 있고 잠재적으로 적대적인 조건 하에서 정보를 종합하는 것)—으로 분해한다. (2) 분리된 재현 가능한 측정을 가능하게 하기 위해, 문서 기반 역공학(document-grounded reverse engineering)에 기반한 제어 가능한 합성 파이프라인을 개발한다. 이는 단일 고정 데이터셋이 아니라, 제어된 딥 서치 평가를 구성하기 위한 일반적인 방법(recipe)을 제공한다. (3) 구체적인 사례로, DelegSearchBench를 구축하고, 문서 구성과 도구 접근을 변화시켜 각 역량 차원을 분리하는 분리된 평가 프로토콜을 함께 제시한다. (4) 대표적인 모델들에 걸쳐, 딥 서치 역량은 최종 답변 정확도만으로는 적절히 특성화할 수 없음을 보여준다...
Attribute De-biased Vision Transformer (AD-ViT) for Long-Term Person Re-identification
Semantic Structure Enhanced Contrastive Adversarial Hash Network for Cross-media Representation Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.