PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24539v1cs.CV

다중 모달 객체 재식별을 위한 유인 노이즈 및 구조적 사전 정보 주입

Incentive Noise and Structural Prior Infusion for Multi-modal Object Re-Identification

다중 모달 객체 재식별(ReID)은 이종 이미징 모달리티 전반의 상호보완적인 정보로부터 이점을 얻습니다. 의미론적 표현을 더욱 풍부하게 만들기 위해 최근에는 텍스트 설명이 추가적인 모달리티로 통합되었습니다. 그러나 최근의 비전-언어 접근 방식은 텍스트 설명을 노이즈 없는 결정론적 신호로 취급하는 경우가 많으며, 모달리티 불일치 문구와 의미론적으로 모호한 표현을 포함한 내재적 노이즈를 간과합니다. 나아가 기존 방식은 고수준의 의미론적 정렬을 거친 후에도 모달리티 간의 세밀한 구조적 불일치를 조정할 수 있는 명시적인 메커니즘이 부족합니다. 이러한 문제를 해결하기 위해, 우리는 긍정 유인 노이즈(Positive-Incentive Noise, $\pi$-noise)와 구조화된 프롬프트 변조를 중심으로 하는 새로운 프레임워크를 제안합니다. 첫째, 시맨틱 교차 모달 변조기(Semantic Cross-Modal Modulator)는 시각 및 텍스트 입력 모두에 조건화된 분포에서 샘플링된 태스크 인식 $\pi$-noise를 활용하여 글로벌 토큰을 섭동(perturb)시키고 의미론 유도 교차 모달 보상을 가능하게 합니다. 둘째, 구조 인식 프롬프트 어댑터(Structure-Aware Prompt Adapter)는 프롬프트를 통해 학습 가능한 기하학적 사전 정보를 주입하여 공간적 일관성을 강화합니다. 셋째, 컨텍스트 인식 희소 융합(Context-Aware Sparse Fusion) 모듈은 구조적 컨텍스트를 증류하여 적응형 융합을 유도하는 동시에 노이즈가 있는 로컬 세부 정보로부터 식별 특징을 보호합니다. 세 가지 다중 모달 ReID 벤치마크에 대한 실험을 통해 본 접근 방식의 유효성과 견고성을 입증합니다. 코드는 https://github.com/zw-absin/INSPI 에서 확인할 수 있습니다.

arXiv:2606.20044v1cs.CV

FUSE: 다중 모달 객체 재식별을 위한 주파수 영역 통합 및 스펙트럴 에너지 정렬

FUSE: Frequency-domain Unification and Spectral Energy Alignment for Multi-modal Object Re-Identification

다중 모달 재식별(ReID)에서 상당한 진전이 있었음에도, 기존 방법들은 저주파 단서에 치우치는 경향이 있다. 그 결과 색상, 조명, 거친 외관과 같은 속성에 집중하는 한편, 기하학적·질감적·신원 구별 정보를 담는 중·고주파 구조를 간과한다. 이러한 불균형은 불완전한 스펙트럴 표현과 불안정한 교차 모달 정렬을 초래한다. 이러한 한계를 극복하기 위해, 다중 모달 ReID를 스펙트럴 분리와 에너지 정렬의 2단계 과정으로 재구성하는 주파수 영역 프레임워크인 FUSE를 제안한다. 제안한 스펙트럴 분해 모듈(SDM)은 특징을 저·중·고주파 부공간으로 적응적으로 분할하여 계층적 스펙트럴 모델링을 가능하게 한다. 교차 모달 정렬 모듈(CAM)은 주파수 일관성 정규화를 통해 모달리티 간 에너지 정렬과 부공간 상보성을 더욱 강화한다. 또한 FUSE는 가변적 조명 및 이질적 센서 조건에서의 강건성을 높이기 위해 학습 가능한 주파수 변조를 통합한다. RGBNT201, RGBNT100, MSVR310에 대한 광범위한 실험에서 FUSE는 mAP 9.1% 및 Rank-1 9.5%의 향상을 달성하며, 다중 모달 표현 학습을 위한 해석 가능한 주파수 영역 패러다임을 확립한다.