arXiv:2312.17494

QGFace: Quality-Guided Joint Training For Mixed-Quality Face Recognition

Youzhe Song, Feng Wang

제출 2023-12-29

원문 초록

The quality of a face crop in an image is decided by many factors such as camera resolution, distance, and illumination condition. This makes the discrimination of face images with different qualities a challenging problem in realistic applications. However, most existing approaches are designed specifically for high-quality (HQ) or low-quality (LQ) images, and the performances would degrade for the mixed-quality images. Besides, many methods ask for pre-trained feature extractors or other auxiliary structures to support the training and the evaluation. In this paper, we point out that the key to better understand both the HQ and the LQ images simultaneously is to apply different learning methods according to their qualities. We propose a novel quality-guided joint training approach for mixed-quality face recognition, which could simultaneously learn the images of different qualities with a single encoder. Based on quality partition, classification-based method is employed for HQ data learning. Meanwhile, for the LQ images which lack identity information, we learn them with self-supervised image-image contrastive learning. To effectively catch up the model update and improve the discriminability of contrastive learning in our joint training scenario, we further propose a proxy-updated real-time queue to compose the contrastive pairs with features from the genuine encoder. Experiments on the low-quality datasets SCface and Tinyface, the mixed-quality dataset IJB-B, and five high-quality datasets demonstrate the effectiveness of our proposed approach in recognizing face images of different qualities.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14423v1cs.CV공통 태그 Face Recognition, Contrastive Learning

고정 비전 기본 모델에서의 창발적 영역 수준 얼굴 대응

Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

고정된 자기지도 비전 모델은 일반 객체의 부분들을 정렬할 수 있지만, 전역 레이아웃은 공유되면서 동일인 특이적 외모가 급격히 달라지는 인간 얼굴에 이 대응이 확장되는지는 여전히 불분명하다. 우리는 고정된 DINOv3 특징이 영역 수준의 얼굴 좌표계를 정의하는지 검증한다. 이는 얼굴 특화 학습 없이도 사람과 시간에 걸쳐 눈, 눈썹, 코, 입, 피부, 머리카락이 구분 가능한 특징 공간이다. DINOv3 ViT-L/16 패치 임베딩을 사용하고 FaRL은 얼굴 부위 라벨링 인터페이스로만 사용하여, 200개의 CelebDF-v2 실제 동영상에서 교차 동일인 최근접 이웃 매칭과 시간적 라벨 전파를 평가한다. DINOv3는 제약 없는 교차 동일인 매칭에서 83.0%의 영역 수준 의미 정확도를 달성하며, 23.0%의 면적 가중 무작위 기준선과 비교된다. 또한 학습된 시간적 모듈 없이 95.5%의 시간적 추적 정확도를 기록한다. FaRL 없는 대조군은 0.9%로 붕괴하여, FaRL이 의미적 초기화를 제공하고 DINOv3가 밀집 공간 대응을 제공함을 보여준다. 가장 강한 대응은 중간 층에서 나타난다. 블록 18은 최종 블록의 1.48배에 비해 동일 영역 대 교차 영역 판별 비율 4.93배를 보인다. CLIP ViT-L/14와 대비하면 DINOv3는 전체적으로 작은 우위만 보이지만 해부학적 영역에서 +16.8퍼센트포인트 향상을 보이며, 이는 이미지 수준 대조 감독이 거친 얼굴 레이아웃은 포착하지만 미세한 해부학적 정체성은 포착하지 못함을 시사한다. 이러한 결과는 고정 DINOv3를 영역 수준 얼굴 대응을 위한 강력한 제로샷 표현으로 확립하고, 밀집 얼굴 분석에 가장 유용한 층으로 중간 자기지도 특징을 확인한다.

arXiv:2607.03581v2cs.CV공통 태그 Face Recognition, Contrastive Learning

PLGSA-Transformer: 교차 모달 마스크 착용·미착용 얼굴 인식을 위한 눈 주변 랜드마크 기반 어텐션과 가려짐 적응형 코사인 임계화

PLGSA-Transformer: Periocular Landmark-Guided Attention with Occlusion-Adaptive Cosine Thresholding for Cross-Modal Masked and Unmasked Face Recognition

COVID-19로 가속화되고 보안 민감 환경에서 의무화된 안면 마스크의 광범위한 보급은 기존 얼굴 인식 시스템의 한계를 드러냈다. 고정 코사인 임계값, 비적응형 CNN, 순수 데이터 기반 특징에 의존하는 기존 접근법은 얼굴 영역이 가려질 때 일반화에 실패하여, 실험실 성능과 실세계 배포 가능성 사이의 격차를 초래한다. 본 논문은 세 가지 기여를 갖는 교차 모달 얼굴 매칭 프레임워크인 PLGSA-Transformer를 제안한다. 첫째, 눈 주변 랜드마크 기반 공간 어텐션(PLGSA)은 MediaPipe 랜드마크를 활용하여 눈, 눈썹, 이마 영역에 가우시안 히트맵을 계산하고, 학습 가능한 잔차 게이트를 통해 EfficientNetB3 특징과 융합함으로써 변별력 있는 가시 영역에 어텐션을 집중시킨다. 둘째, 하이브리드 CNN-트랜스포머 브랜치는 특징 맵을 토큰으로 재구성하여 2층 멀티헤드 셀프 어텐션 인코더로 처리함으로써 영역 간 의존성 모델링을 가능하게 한다. 셋째, 가려짐 적응형 코사인 임계값(OACT)은 예측된 가려짐 심각도에 비례하여 매칭 임계값을 높이는 공동 학습 헤드이다. 본 모델은 Zenodo MDMFR(60%), Kaggle CelebA-HQ 마스크 컬렉션(25%), 저자 수집 이미지(15%)로 구성된 858장의 이미지로 평가되며, 남녀 모두, 21~75세 연령대, 다양한 마스크 유형을 포함하고, 대조 검증·신원 분류·가려짐 교차 엔트로피를 결합한 통합 손실로 학습된다. PLGSA-Transformer는 ROC AUC 1.0000으로 97.22%의 쌍 검증 정확도를 달성하여, VGG-16 기반 MUFM(Abdullah et al., 2025; 95.0%), HOG 분류기(Adnan et al., 2020; 85.0%), 특징 기반 구조적 측정(Shnain et al., 2017; 86.61%)을 능가한다. 이러한 결과는 눈 주변 기하학적 정보를 어텐션에 인코딩하고 트랜스포머 모델링 및 가려짐 적응형 임계값을 결합하는 방식이 교차 모달 마스크 착용 얼굴 인식을 위한 강건하고 확장 가능한 솔루션을 제공함을 확인한다.

arXiv:2607.11281v1cs.CV공통 태그 Face Recognition, Contrastive Learning

악마는 누출에 있다: 고충실도 헤어스타일 전환을 위한 분리된 이중 정제 프레임워크

The Devil Is in the Leakage: A Disentangled Dual-Purification Framework for High-Fidelity Hairstyle Transfer

헤어스타일 전환은 참조 이미지의 헤어스타일을 소스 피사체에 이식하면서 소스 아이덴티티를 보존하여 사실적인 초상화를 합성하는 것을 목표로 한다. 최근 기반 모델들은 강력한 생성 능력을 보여주지만, 정밀한 로컬 편집에 필요한 제로샷 분리에 어려움을 겪으며, 참조 헤어스타일이 원래의 아이덴티티 및 포즈와 얽히는 문제가 자주 발생한다. 기존의 확산 기반 파이프라인은 일반적으로 소스에서 "민머리" 이미지를 먼저 생성한 후 참조에서 헤어스타일 특징을 주입하는 방식으로 작업을 분해한다. 그러나 이 패러다임이 근본적인 누출 문제를 겪고 있음을 보인다. 헤어스타일에서의 아이덴티티 누출(Identity Leakage in Hairstyle)은 헤어스타일 특징이 참조 아이덴티티 또는 포즈 정보를 보유할 때 발생하며, 민머리에서의 결함 누출(Flaw Leakage in Bald)은 민머리 이미지의 잔류 아티팩트가 최종 합성에 전파될 때 발생한다. 두 문제를 모두 해결하기 위해, 두 가지 상보적인 학습 시간 정규화기를 도입하는 이중 정제 프레임워크(DPF, Dual-Purification Framework)를 제안한다. 적대적 헤어스타일 정제(AHP, Adversarial Hairstyle Purification)는 상호 정보 기반 적대적 목적 함수 하에서 아이덴티티 예측 가능성을 억제함으로써 헤어스타일 특징을 정제한다. 대조적 기하학적 정제(CGP, Contrastive Geometric Purification)는 대조적 목적 함수로 ControlNet 경로를 정규화하여 민머리 조건의 기하학적 아티팩트에 대한 모델의 의존성을 줄인다. 헤어스타일 표현과 기하학적 경로를 공동으로 정제함으로써, DPF는 고충실도의 아이덴티티 보존 헤어스타일 전환을 달성하고 다양한 벤치마크에서 최첨단 성능을 기록한다.

arXiv:2607.11886v2cs.CV공통 태그 Contrastive Learning

Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.