Matching Thermal to Visible Face Images Using a Semantic-Guided Generative Adversarial Network
원문 초록
Designing face recognition systems that are capable of matching face images obtained in the thermal spectrum with those obtained in the visible spectrum is a challenging problem. In this work, we propose the use of semantic-guided generative adversarial network (SG-GAN) to automatically synthesize visible face images from their thermal counterparts. Specifically, semantic labels, extracted by a face parsing network, are used to compute a semantic loss function to regularize the adversarial network during training. These semantic cues denote high-level facial component information associated with each pixel. Further, an identity extraction network is leveraged to generate multi-scale features to compute an identity loss function. To achieve photo-realistic results, a perceptual loss function is introduced during network training to ensure that the synthesized visible face is perceptually similar to the target visible face image. We extensively evaluate the benefits of individual loss functions, and combine them effectively to learn the mapping from thermal to visible face images. Experiments involving two multispectral face datasets show that the proposed method achieves promising results in both face synthesis and cross-spectral face matching.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FLUXSynID: A Framework for Identity-Controlled Synthetic Face Generation with Document and Live Images
생성적 적대 신경망과 멤리스터 기반 분류기를 이용한 비정면 얼굴 인식
Non-frontal face recognition using GANs and memristor-based classifiers
얼굴 인식 시스템은 심층 학습(deep learning) 기법을 통해 크게 발전하여 복잡한 시나리오에서 높은 성능과 견고성을 제공하고 있다. 그러나 이러한 접근 방식은 상당한 연산 오버헤드를 수반하여, 비정면 얼굴 영상 처리 등의 과제를 해결해야 하는 드론과 같은 자원 제약적 플랫폼에서의 현장 적용성을 제한한다. 멤리스터 기반 뉴로모픽 시스템은 생물학적으로 영감을 받은 처리 방식과 효율적이고 확장 가능한 연산을 결합하여 엣지 AI 응용을 위한 유망한 접근법으로 부상하고 있다. 본 연구에서는 경량 생성적 적대 신경망(GAN) 기반의 포즈 정면화와 멤리스터 기반 뉴로모픽 인식을 통합하여 비정면 포즈 변화를 처리하는 얼굴 인식 프레임워크를 제안한다. 두 가지 데이터셋에 대한 실험 결과는 적대적 학습과 멤리스티브 기술의 결합이 효과적임을 입증하며, 최대 96%의 식별 정확도를 달성하였다. 제안된 접근 방식은 기존 AI의 연산 병목을 완화하고, 동적인 실세계 환경에서의 얼굴 인식을 위한 확장 가능하고 효율적인 솔루션을 제공한다.
StyleAT: 의미론적 공격에 대한 얼굴 인식 방어
StyleAT: Defending Face Recognition Against Semantic Attacks
얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.
악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크
The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer
헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.
SGF-CDNet: 얼굴 위조 탐지를 위한 의미-기하 융합 노드 기반 일관성-불일치 그래프 네트워크
SGF-CDNet: A Consistency-Discrepancy Graph Network over Semantic-Geometric Fused Nodes for Face Forgery Detection
딥페이크(deepfake)의 급격한 발전으로 인해 견고한 얼굴 위조 탐지가 필요해졌다. 위조된 얼굴에는 명확한 아티팩트가 없을 수 있지만, 서로 다른 얼굴 영역 간에 미묘한 부조화가 존재하는 경우가 많다. 우리는 의미-기하 융합(SGF) 노드 기반의 일관성-불일치 그래프 네트워크(CD-GNN)인 SGF-CDNet을 제안한다. 먼저, SGF-CDNet은 얼굴 파싱에서 추출한 의미 영역과 얼굴 랜드마크의 기하 정보를 깊이 융합하여 SGF 노드를 구성함으로써, 각 노드가 고수준 개념과 정밀한 기하학적 제약을 모두 포착할 수 있도록 한다. 다음으로, 이중 경로 CD-GNN은 이 노드들에 대해 일관성과 불일치의 두 차원에서 병렬 관계 추론을 수행한다. 일관성 경로는 얼굴 구성 요소가 자연스러운 생물학적 패턴을 따르는지 평가하고, 불일치 경로는 위조에 의해 도입된 구조적 긴장과 특징 충돌을 탐색한다. 이 두 과정을 통합함으로써, 우리 모델은 얼굴 구성 요소 간의 부조화 관계를 효과적으로 식별한다. 공개 데이터셋에 대한 광범위한 실험을 통해 SGF-CDNet이 우수한 성능을 달성함을 입증하며, 이를 얼굴 위조 탐지를 위한 신뢰할 수 있는 솔루션으로 자리매김한다.
PASDiff: 실세계 저조도 얼굴 향상 및 복원을 위한 물리 인식 의미론적 가이던스
PASDiff: Physics-Aware Semantic Guidance for Joint Real-World Low-Light Face Enhancement and Restoration
실세계 저조도 환경에서 촬영된 얼굴 이미지는 낮은 조도, 블러, 노이즈, 낮은 가시성 등 다양한 열화를 동시에 겪는다. 기존의 캐스케이드 방식은 심각한 오류 누적 문제를 겪는 반면, 범용 통합 모델은 명시적인 얼굴 사전 정보가 부족하여 선명한 얼굴 구조를 복원하는 데 어려움을 겪는다. 본 논문에서는 학습 없이(training-free) 동작하는 물리 인식 의미론적 확산 모델인 PASDiff를 제안한다. 그럴듯한 조도 및 색상 분포를 달성하기 위해 역강도 가중치(inverse intensity weighting)와 Retinex 이론을 활용하여 광도 제약 조건을 도입함으로써 가시성과 자연스러운 색도를 신뢰성 있게 복원한다. 얼굴 세부 사항을 충실히 재구성하기 위해, 제안하는 스타일 비의존적 구조 주입(SASI, Style-Agnostic Structural Injection)은 기성 얼굴 사전 모델로부터 구조를 추출하되 내재된 광도 편향을 필터링하여, 신원 특징과 물리적 제약 조건을 자연스럽게 조화시킨다. 나아가, 복잡한 열화를 포함하는 700장의 실세계 저조도 얼굴 이미지로 구성된 실세계 벤치마크 WildDark-Face를 구축하였다. 광범위한 실험을 통해 PASDiff가 기존 방법들을 크게 능가하며, 자연스러운 조도, 색상 복원, 신원 일관성 사이에서 우수한 균형을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/IVIPLab/PASDiff 에서 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.