Seeing through the Mask: Multi-task Generative Mask Decoupling Face Recognition
원문 초록
The outbreak of COVID-19 pandemic make people wear masks more frequently than ever. Current general face recognition system suffers from serious performance degradation,when encountering occluded scenes. The potential reason is that face features are corrupted by occlusions on key facial regions. To tackle this problem, previous works either extract identity-related embeddings on feature level by additional mask prediction, or restore the occluded facial part by generative models. However, the former lacks visual results for model interpretation, while the latter suffers from artifacts which may affect downstream recognition. Therefore, this paper proposes a Multi-task gEnerative mask dEcoupling face Recognition (MEER) network to jointly handle these two tasks, which can learn occlusionirrelevant and identity-related representation while achieving unmasked face synthesis. We first present a novel mask decoupling module to disentangle mask and identity information, which makes the network obtain purer identity features from visible facial components. Then, an unmasked face is restored by a joint-training strategy, which will be further used to refine the recognition network with an id-preserving loss. Experiments on masked face recognition under realistic and synthetic occlusions benchmarks demonstrate that the MEER can outperform the state-ofthe-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FLUXSynID: A Framework for Identity-Controlled Synthetic Face Generation with Document and Live Images
ID-Booth: Identity-consistent Face Generation with Diffusion Models
Fairer Analysis and Demographically Balanced Face Generation for Fairer Face Verification
CemiFace: Center-based Semi-hard Synthetic Face Generation for Face Recognition
GeoFace: Consistent Multi-View Face Generation with Geometry-Constrained Diffusion
분 {"title_ko": "GeoFace: 기하 구조 제약 확산을 활용한 일관된 다중 뷰 얼굴 생성", "abstract_ko": "우리는 단일 입력으로부터 일관된 얼굴 생성을 위한 기하 구조 제약 다중 뷰 확산 프레임워크인 GeoFace를 제안한다. 최근 다중 뷰 확산 모델은 뷰 단위 수준에서 사실적인 합성을 달성하지만, 뷰 간 공유 3D 구조를 강제하는 명시적 메커니즘이 부족하여 시점 간 기하 구조가 불일치하는 경우가 많다. 이를 해결하기 위해 GeoFace는 외관과 기하 스트림이 공유 어텐션 레이어를 통해 상호작용하는, 다중 뷰 RGB 이미지와 3D 얼굴 기하를 공동 생성하는 통합 이중 스트림 프레임워크를 제안한다. 두 스트림이 서로를 상호 제약하도록 유도하기 위해, 우리는 3D 일관 대응 관계로 외관과 기하 토큰 사이의 크로스-어텐션을 지도하는 기하 유도 어텐션 정렬 손실을 도입하여, 외관 스트림이 시점 간 견고한 정렬을 위해 자세 불변 기하 단서를 올바르게 참조할 수 있게 한다. 기하는 다중 뷰 관측에 피팅된 FLAME 메시로부터 유도된 정규(canonical) UV 위치 맵으로 표현되며, 생성된 모든 뷰에 걸쳐 시점 불변 공유 제약으로 기능한다. RenderMe-360 및 NeRSemble에서의 실험은 GeoFace가 시각적 품질과 뷰 간 기하 일관성 모두에서 기존 방법을 지속적으로 능가하며, 보다 효율적인 3D 재구성을 가능하게 함을 보여준다."}
Non-Adaptive Adversarial Face Generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.