Adversarial Masking Contrastive Learning for vein recognition
원문 초록
Vein recognition has received increasing attention due to its high security and privacy. Recently, deep neural networks such as Convolutional neural networks (CNN) and Transformers have been introduced for vein recognition and achieved state-of-the-art performance. Despite the recent advances, however, existing solutions for finger-vein feature extraction are still not optimal due to scarce training image samples. To overcome this problem, in this paper, we propose an adversarial masking contrastive learning (AMCL) approach, that generates challenging samples to train a more robust contrastive learning model for the downstream palm-vein recognition task, by alternatively optimizing the encoder in the contrastive learning model and a set of latent variables. First, a huge number of masks are generated to train a robust generative adversarial network (GAN). The trained generator transforms a latent variable from the latent variable space into a mask space. Then, we combine the trained generator with a contrastive learning model to obtain our AMCL, where the generator produces challenging masking images to increase the contrastive loss and the contrastive learning model is trained based on the harder images to learn a more robust feature representation. After training, the trained encoder in the contrastive learning model is combined with a classification layer to build a classifier, which is further fine-tuned on labeled training data for vein recognition. The experimental results on three databases demonstrate that our approach outperforms existing contrastive learning approaches in terms of improving identification accuracy of vein classifiers and achieves state-of-the-art recognition results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASAP: AI 생성 이미지의 이미지 패턴 식별 및 분석을 위한 시각적 분석 시스템
ASAP: Visual Analytics for Identifying and Analyzing Image Patterns in AI-generated Images
생성형 이미지 모델은 매우 사실적인 이미지를 생성할 수 있어 기만적인 콘텐츠 제작에 악용될 수 있다는 우려를 낳고 있습니다. 기존의 딥페이크(deepfake) 접근 방식은 제한된 일반화 가능성, 해석 가능성(interpretability)의 부족, 실행 가능성(actionability)의 미흡함 등 여러 문제에 직면해 있습니다. 이를 해결하기 위해, 본 논문에서는 사용자가 AI 생성 이미지의 기만적인 패턴을 분석하고 요약할 수 있도록 설계된 인터랙티브 시각화 시스템인 ASAP을 제시합니다. ASAP은 해석 가능한 표현(representation)을 생성하는 새로운 CLIP 적응형 이미지 인코더를 도입하여, 계산된 마스크를 통해 영향력 있는 픽셀 영역을 추출할 수 있도록 합니다. 이 접근 방식은 영향력 측정 기법을 통해 핵심적인 기만적 특징의 식별을 촉진합니다. 이러한 백엔드 기법들은 실제 이미지와 AI 생성 이미지가 모두 포함된 이미지 컬렉션에서 진위 여부를 나타내는 패턴을 사용자가 정량화하고 분석할 수 있는 시각적 분석 대시보드에 통합됩니다. 또한 이 접근 방식은 GAN 및 확산 모델(diffusion model)을 포함한 다양한 생성 모델의 비교 분석을 지원합니다. 저자들은 기존의 가짜 이미지 탐지 벤치마크(benchmark)를 활용한 사용자 연구와 두 가지 응용 시나리오를 통해 ASAP의 효용성을 입증하며, 기만적인 패턴을 효과적으로 추출하고 정량화하는 능력을 보여줍니다.
M$^3$-Gen: 임상 및 영상 데이터를 활용한 해석 가능한 유전자 발현 프로파일의 멀티모달 생성
M$^3$-Gen: Interpretable Multimodal Generation of Gene Expression Profiles Using Clinical and Imaging Data
임상 메타데이터, 조직병리학 영상, 분자 프로파일을 포함한 이질적 생의학 데이터의 통합은 질병에 대한 포괄적 이해에 필수적이다. 그러나 유전자 발현 데이터 획득은 높은 비용과 프라이버시 우려로 인해 여전히 제약을 받고 있어, 멀티모달 연구 및 AI 기반 응용에서의 활용을 제한한다. 우리는 조직병리학 영상과 임상 메타데이터에 조건을 걸어 생성적 적대 신경망(GAN)으로 유전자 발현 프로파일을 생성하는 새로운 프레임워크인 MultiModal Molecular Generation(M$^3$-Gen)을 제안한다. M$^3$-Gen은 대조 학습(contrastive learning)을 활용하여 임상 변수와 영상으로부터 통합 잠재 표현을 학습하고, 두 모달리티의 임베딩을 이용해 생물학적으로 일관된 유전자 발현 프로파일을 생성하는 생성 모델을 유도한다. TCGA 데이터셋에 대한 평가는 M$^3$-Gen이 현실적이고 기능적으로 의미 있는 유전자 발현 데이터를 생성함을 보여준다. 중요하게도, 어텐션 기반 메커니즘으로 여러 모달리티를 통합함으로써 M$^3$-Gen은 내재적 설명 가능성을 제공한다: 특정 유전자 발현 프로파일 생성에 조직병리학 영상의 어떤 영역이 가장 강하게 영향을 미쳤는지 식별할 수 있게 하며, 모델의 결정을 설계상 해석 가능하게 만든다.
악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크
The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer
헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.
CoReGAN: Contrastive Regularized Generative Adversarial Network for Guided Depth Map Super Resolution
DOMFN: A Divergence-Orientated Multi-Modal Fusion Network for Resume Assessment
Is the Geometry Doing the Work? An Operating-Point Audit of Hierarchy in Hyperbolic Vision-Language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.