arXiv:2408.01233

CLIP4Sketch: Enhancing Sketch to Mugshot Matching through Dataset Augmentation using Diffusion Models

Kushal Kumar Jain, Steve Grosz, Anoop M. Namboodiri, Anil K. Jain

제출 2024-08-02

원문 초록

Forensic sketch-to-mugshot matching is a challenging task in face recognition, primarily hindered by the scarcity of annotated forensic sketches and the modality gap between sketches and photographs. To address this, we propose CLIP4Sketch, a novel approach that leverages diffusion models to generate a large and diverse set of sketch images, which helps in enhancing the performance of face recognition systems in sketch-to-mugshot matching. Our method utilizes Denoising Diffusion Probabilistic Models (DDPMs) to generate sketches with explicit control over identity and style. We combine CLIP and Adaface embeddings of a reference mugshot, along with textual descriptions of style, as the conditions to the diffusion model. We demonstrate the efficacy of our approach by generating a comprehensive dataset of sketches corresponding to mugshots and training a face recognition model on our synthetic data. Our results show significant improvements in sketch-to-mugshot matching accuracy over training on an existing, limited amount of real face sketch data, validating the potential of diffusion models in enhancing the performance of face recognition systems across modalities. We also compare our dataset with datasets generated using GAN-based methods to show its superiority.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27011v1cs.CV공통 태그 Denoising, Face Recognition

HYDRO: 고충실도 하이브리드 확산 및 타깃 지향 접근을 통한 비가역적 얼굴 식별 해제

HYDRO: Towards Non-Reversible Face De-Identification Using a High-Fidelity Hybrid Diffusion and Target-Oriented Approach

타깃 지향(target-oriented) 얼굴 식별 해제 모델은 서로 다른 이미지나 동영상 프레임 전반에서 특정 대상 개인의 신원을 익명화하여, 대상을 더 이상 신뢰할 수 있게 식별할 수 없게 하면서도 시각 데이터의 핵심 특성은 유지하는 것을 목표로 한다. 이러한 모델은 일반적으로 생성형 인코더-디코더(encoder-decoder) 구조를 활용해 얼굴 외형을 조작하며, 현실적이고 고충실도의 식별 해제 결과를 만들면서 상당한 속성 보존(attribute-retention) 능력을 확보한다. 그러나 타깃 지향 모델은 미세한 신원 단서를 부 inadvertent하게 보존할 위험이 있어 (잠재적으로) 가역적이며 재구성(reconstruction) 공격에 취약해질 수 있다. 이 문제를 해결하기 위해 본 논문에서는 타깃 지향 모델과, 식별 해제 절차를 되돌리는 학습을 가능하게 할 수 있는 지각하기 어려운 정보를 파괴하도록 특별히 설계된 전용 확산(diffusion) 과정을 결합한 새로운 (견고한) 얼굴 식별 해제 접근법 HYDRO를 제안한다. HYDRO는 먼저 주어진 얼굴 이미지를 식별 해제한 뒤, 재구성을 방해하기 위해 식별 해제 결과에 노이즈를 주입하고, 이어서 확산 기반 복원 단계를 적용해 충실도를 높이고 노이즈 과정이 데이터 특성에 미치는 영향을 최소화한다. 이미지 충실도를 더 높이고 시선 방향(gaze direction)을 더 잘 보존하기 위해, 새로운 Eye Similarity Discriminator(ESD)도 도입하여 HYDRO 학습에 통합한다. 세 가지 다양한 데이터셋(dataset)에 대한 광범위한 정량·정성 실험은 HYDRO가 최신(SOTA) 수준의 충실도와 속성 보존 능력을 보이며, 재구성 공격에 견디는 유일한 타깃 지향 방법임을 보여준다. 여러 SOTA 경쟁 방법과 비교했을 때 HYDRO는 재구성 공격 성공률을 평균 85.7% 감소시킨다.

arXiv:2607.19886v1cs.CV공통 태그 Denoising, Face Recognition

MTVDiff: 향상된 열화상-가시광 얼굴 변환을 위한 다중모달 조건부 잠재 확산

MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation

열화상-가시광 얼굴 변환은 기하학적 불연속성, 의미적 속성 불일치, 신원 저하를 포함한 근본적인 과제를 제기한다. 우리는 이러한 한계를 해결하면서 신원 특성을 보존하기 위해 깊이(depth)와 텍스트 정보를 시너지적으로 통합하는 새로운 다중모달 잠재 확산 프레임워크인 MTVDiff를 제안한다. MTVDiff 프레임워크는 세 가지 핵심 기술적 기여를 제시한다: (1) 다중 스케일 열화상-깊이 특징 추출 및 융합을 위한 Dual-Branch Cross-Attention Fusion(DBCAF) 모듈, (2) 의미론적으로 유도된 생성을 위한 Gated Text-to-Visual Feature Alignment 메커니즘, (3) 적응적 다중모달 사전(prior) 통합을 위한 Spatial Feature Transformations(SFT). MCXFace 및 SpeakingFaces 데이터셋에 대한 광범위한 실험은, 우리의 다중모달 접근법이 여러 지표에서 기존 생성적 적대 신경망(GAN) 기반 및 확산 기반 접근법을 크게 능가하며, 이미지 품질과 얼굴 검증 성능 모두에서 상당한 개선을 달성함을 보여준다. FID는 최대 48.3% 감소하고 Rank-1 정확도는 최대 8.9% 향상되었다. 우리의 연구는 다양한 조명 조건에서 작동하는 얼굴 인식 시스템을 위한 견고한 해결책을 제공하며, 효과적인 다중모달 통합을 통해 교차 스펙트럼 얼굴 이미지 변환의 최신 기술(state-of-the-art)을 발전시킨다.

arXiv:2609.27901v2cs.CV공통 태그 Denoising

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2609.14856v3cs.CV공통 태그 Denoising

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

arXiv:2609.27149v2cs.CV공통 태그 Denoising

원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델

Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection

원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.