arXiv:2310.17952

Shape-centered Representation Learning for Visible-Infrared Person Re-identification

Shuang Li, Jiaxu Leng, Ji Gan, Mengjingcheng Mo, Xinbo Gao

제출 2023-10-27

원문 초록

Current Visible-Infrared Person Re-Identification (VI-ReID) methods prioritize extracting distinguishing appearance features, ignoring the natural resistance of body shape against modality changes. Initially, we gauged the discriminative potential of shapes by a straightforward concatenation of shape and appearance features. However, two unresolved issues persist in the utilization of shape features. One pertains to the dependence on auxiliary models for shape feature extraction in the inference phase, along with the errors in generated infrared shapes due to the intrinsic modality disparity. The other issue involves the inadequately explored correlation between shape and appearance features. To tackle the aforementioned challenges, we propose the Shape-centered Representation Learning framework (ScRL), which focuses on learning shape features and appearance features associated with shapes. Specifically, we devise the Shape Feature Propagation (SFP), facilitating direct extraction of shape features from original images with minimal complexity costs during inference. To restitute inaccuracies in infrared body shapes at the feature level, we present the Infrared Shape Restitution (ISR). Furthermore, to acquire appearance features related to shape, we design the Appearance Feature Enhancement (AFE), which accentuates identity-related features while suppressing identity-unrelated features guided by shape features. Extensive experiments are conducted to validate the effectiveness of the proposed ScRL. Achieving remarkable results, the Rank-1 (mAP) accuracy attains 76.1%, 71.2%, 92.4% (72.6%, 52.9%, 86.7%) on the SYSU-MM01, HITSZ-VCM, RegDB datasets respectively, outperforming existing state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28183v1cs.CV공통 태그 Person Re-Identification, Representation Learning

생체 인식 식별을 위한 심전도 신호 기반 대표 형태 히트맵

From ECG Signals to Representative-Morphology Heatmaps for Biometric Recognition

심전도(ECG)는 생체 인식(biometric recognition)을 지원하는 대상자 고유의 형태학적 특성을 포함하고 있으나, 이미지 기반 성능은 파형(waveform)이 어떻게 렌더링되는지에 따라 달라집니다. 본 논문에서는 ECGXtractor를 기반으로 변형한 결정론적 ECG-투-이미지 표현 방식인 대표 형태 히트맵(representative-morphology heatmaps)을 소개합니다. 정렬된 10개 박동으로 구성된 각 블록 내에서 블록 평균에 가장 가까운 5개 박동을 평균화하여 400 × L 행렬로 구성한 뒤, 기존의 트레이스(trace) 형태 또는 심장 시간-리드(cardiac-time-by-lead) 밀집 히트맵으로 렌더링합니다. 두 표현 모두 동일한 생리학적 샘플을 포함하므로, 이들의 비교를 통해 렌더링 방식의 효과만을 분리하여 분석할 수 있습니다. 본 연구에서는 PTB, ECG-ID, MIMIC-IV-ECG-DEMO 데이터셋에서 검증(verification) 및 닫힌 집합 식별(closed-set identification) 성능을 평가(evaluation)합니다. ZACH-ViT를 포함한 5개의 소형 모델을 처음부터 학습(training from scratch)시키는 한편, ImageNet 사전학습(pre-training)된 6개의 CNN 및 트랜스포머(transformer) 백본을 통해 모델 규모와 시각적 전이 성능을 평가합니다. 15개의 모든 소형 모델-데이터셋 비교에서 히트맵은 FNMR 동작점 및 두 식별 순위 모두를 향상시켰으며, 14개 비교에서는 EER을 개선했습니다. 짝을 이룬 실험 전반에서 EER은 평균 9.59%p 감소했고 Rank-1은 24.69%p 증가했습니다. ConvNeXt-Tiny는 PTB에서 2.43%, ECG-ID에서 5.79%의 EER을 달성한 반면, DeiT-Base는 MIMIC-DEMO에서 14.92%를 기록했습니다. ImageNet 초기화(initialization)는 두 다중 리드(multilead) 데이터셋에는 분명한 이점을 주었으나 ECG-ID에서는 복합적인 영향을 미쳤으며, 성능이 모델 크기에 따라 단조롭게 증가하지는 않았습니다. 최고의 히트맵 시스템들은 PTB와 ECG-ID에서 가장 강력한 신호 도메인 EER에 근접했으며, DeiT-Base는 MIMIC-DEMO에서 평가된 성능 중 가장 높은 성능을 보였습니다. 리드-채널 절제 연구(ablation study)는 유용한 채널 조합이 집단(cohort)과 생체 인식 작업에 따라 달라진다는 점을 추가로 보여줍니다. 전반적으로 대표 형태 히트맵은 심전도 검증 및 식별을 위한 효과적인 이미지 표현을 제공합니다.

arXiv:2609.24539v1cs.CV공통 태그 Person Re-Identification, Representation Learning

다중 모달 객체 재식별을 위한 유인 노이즈 및 구조적 사전 정보 주입

Incentive Noise and Structural Prior Infusion for Multi-modal Object Re-Identification

다중 모달 객체 재식별(ReID)은 이종 이미징 모달리티 전반의 상호보완적인 정보로부터 이점을 얻습니다. 의미론적 표현을 더욱 풍부하게 만들기 위해 최근에는 텍스트 설명이 추가적인 모달리티로 통합되었습니다. 그러나 최근의 비전-언어 접근 방식은 텍스트 설명을 노이즈 없는 결정론적 신호로 취급하는 경우가 많으며, 모달리티 불일치 문구와 의미론적으로 모호한 표현을 포함한 내재적 노이즈를 간과합니다. 나아가 기존 방식은 고수준의 의미론적 정렬을 거친 후에도 모달리티 간의 세밀한 구조적 불일치를 조정할 수 있는 명시적인 메커니즘이 부족합니다. 이러한 문제를 해결하기 위해, 우리는 긍정 유인 노이즈(Positive-Incentive Noise, $\pi$-noise)와 구조화된 프롬프트 변조를 중심으로 하는 새로운 프레임워크를 제안합니다. 첫째, 시맨틱 교차 모달 변조기(Semantic Cross-Modal Modulator)는 시각 및 텍스트 입력 모두에 조건화된 분포에서 샘플링된 태스크 인식 $\pi$-noise를 활용하여 글로벌 토큰을 섭동(perturb)시키고 의미론 유도 교차 모달 보상을 가능하게 합니다. 둘째, 구조 인식 프롬프트 어댑터(Structure-Aware Prompt Adapter)는 프롬프트를 통해 학습 가능한 기하학적 사전 정보를 주입하여 공간적 일관성을 강화합니다. 셋째, 컨텍스트 인식 희소 융합(Context-Aware Sparse Fusion) 모듈은 구조적 컨텍스트를 증류하여 적응형 융합을 유도하는 동시에 노이즈가 있는 로컬 세부 정보로부터 식별 특징을 보호합니다. 세 가지 다중 모달 ReID 벤치마크에 대한 실험을 통해 본 접근 방식의 유효성과 견고성을 입증합니다. 코드는 https://github.com/zw-absin/INSPI 에서 확인할 수 있습니다.

arXiv:2609.38840v3cs.LG공통 태그 Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2609.27593v2cs.LG공통 태그 Representation Learning

삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식

Hidden not Deleted: How Networks Suppress Entangled Features

신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.