arXiv:2209.04920

Vec2Face-v2: Unveil Human Faces from their Blackbox Features via Attention-based Network in Face Recognition

Thanh-Dat Truong, Chi Nhan Duong, Ngan Le, Marios Savvides, Khoa Luu

제출 2022-09-11

원문 초록

In this work, we investigate the problem of face reconstruction given a facial feature representation extracted from a blackbox face recognition engine. Indeed, it is very challenging problem in practice due to the limitations of abstracted information from the engine. We therefore introduce a new method named Attention-based Bijective Generative Adversarial Networks in a Distillation framework (DAB-GAN) to synthesize faces of a subject given his/her extracted face recognition features. Given any unconstrained unseen facial features of a subject, the DAB-GAN can reconstruct his/her faces in high definition. The DAB-GAN method includes a novel attention-based generative structure with the new defined Bijective Metrics Learning approach. The framework starts by introducing a bijective metric so that the distance measurement and metric learning process can be directly adopted in image domain for an image reconstruction task. The information from the blackbox face recognition engine will be optimally exploited using the global distillation process. Then an attention-based generator is presented for a highly robust generator to synthesize realistic faces with ID preservation. We have evaluated our method on the challenging face recognition databases, i.e. CelebA, LFW, AgeDB, CFP-FP, and consistently achieved the state-of-the-art results. The advancement of DAB-GAN is also proven on both image realism and ID preservation properties.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02675v1eess.IV공통 태그 Image Reconstruction, Face Recognition

하나의 광자, 다양한 세계: 단일 광자 카메라를 통한 사후 확률 및 예측

One Photon, Many Worlds: Posteriors and Predictions with Single-Photon Cameras

단일 광자 눈사태 다이오드(SPAD) 카메라는 광자 계수(photon-counting) 특성으로 인해 기존 카메라와 근본적으로 다르게 작동합니다. 각 프레임은 이진 이미지를 생성합니다. 즉, 노출 시간 동안 광자가 도달하지 않은 픽셀은 0을, 하나 이상의 광자가 도달한 픽셀은 1을 기록합니다. 단일 이진 프레임으로부터 장면을 재구성하거나 그 특성을 추론(inference)하는 것은 여러 서로 다른 이미지가 동일한 측정값을 생성할 수 있기 때문에 어렵습니다. 따라서 이 역문제(inverse problem)는 근본적으로 일대다(one-to-many) 관계를 가집니다. 더 많은 이진 측정값을 수집할수록 역문제 및 관련 추론에 내재된 불확실성은 감소합니다. 광자 수가 충분해지면 신호 평균에 비해 광자 노이즈가 무시할 수 있는 수준이 되어 거의 결정론적인 장면 복원 및 추론이 가능해집니다. 본 연구는 광자 예산(photon budget)이 증가함에 따라 확률적 장면 이해에서 거의 결정론적인 장면 이해로 전환되는 과정을 규명하고, 광자 도달의 확률성이 하류(downstream) 추론 작업에 미치는 영향을 분석합니다. 기술적으로는 누적된 이진 SPAD 측정값을 위해 초기하 프레임 박형화(Hypergeometric frame-thinning) 과정을 기반으로 하는 조건부 생성 프레임워크를 개발합니다. 생성 모델은 광자가 극도로 부족한(photon-starved) 역문제의 일대다 특성을 포착하여, 측정값이 증가함에 따라 이러한 모호성이 어떻게 감소하는지와 문자 인식, QR 코드 디코딩, 얼굴 분석과 같은 하류 작업에 미치는 영향을 실증적으로 규명할 수 있도록 합니다.

arXiv:2609.27115v1cs.CV공통 태그 Metric Learning, Face Recognition

Damnatio Memoriae: 얼굴 인식 모델의 임베딩 공간에서 정체성을 적대적·선택적으로 망각하기

Damnatio Memoriae: Adversarially and Selectively Forgetting Identities in the Embedding Space of Face Recognition Models

얼굴 인식 모델은 한 사람이 서로 다른 시점에 촬영된 두 이미지의 임베딩 유사도가 운용 임계값을 넘으면 이를 동일인으로 연결한다. 우리는 모델이 나머지 집단에 대해서는 계속 사용되는 동안, 선택된 정체성들을 서로 다른 시점 간에 연결 불가능하게 만드는 문제를 다룬다. 해당 이미지를 삭제하고 재학습하는 것으로는 이를 달성할 수 없는데, 모델이 학습에서 한 번도 관찰되지 않은 정체성도 인식하기 때문이다. 따라서 이러한 정체성들에 대해 임베딩 공간을 변경해야 하며, 이 과정을 오픈셋 적대적 망각(open-set adversarial forgetting)이라고 부른다. 우리는 세 가지 손실 함수를 제안한다. 하나는 한 정체성의 임베딩을 그 중심(centroid)에서 분산시키는 것이고, 두 개는 각 이미지를 고유한 근직교(near-orthogonal) 타깃에 매핑하는 것으로, 분류기 헤드와 함께 학습하거나 사전에 거의 직교 정규(almost-orthonormal) 프레임으로 고정할 수 있다. 각 손실은 각 정체성 이미지의 부분집합에 대해 분류 목표와 함께 파인튜닝된다. 검증(verification)과 식별(identification)에서 선행 연구의 네 가지 방법과, 두 가지 망각 규모, 세 가지 백본에서 이를 평가한다. 임베딩 기하에 작용하는 모든 손실은 망각 대상 정체성을 거의 식별 불가능하게 만든다. 직교 정규 프레임만으로도 강한 망각을 달성하며, 해당 부분집합의 이미지가 비교에 개입하는 모든 경우에 성립하고 서로 다른 망각 정체성들을 연결 불가능한 상태로 둔다. 또한 더 높은 유지(retain) 비율에서 동시기 비지도 방법을 능가한다.

arXiv:2607.24422v1cs.CV공통 태그 Metric Learning, Face Recognition

IJCB-AFMFR 2026: 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회

IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data

본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.

arXiv:2607.04431v2stat.ML공통 태그 Metric Learning, Face Recognition

쌍별 분위수 회귀에 관하여 - 통계적 보장과 응용

On Pairwise Quantile Regression - Statistical Guarantees and Applications

분위수 회귀(quantile regression)는 공변량 $Z$에 대한 함수로 관심 있는 실수값 확률변수(r.v.) $Y$의 조건부 분포를 요약하는 강력한 도구를 제공하며, 이는 높은 확률로 큰 분산을 보이는 경우에 해당하고, 표준 최소제곱 회귀(least squares regression)가 정보적이거나 예측적으로 유용한 상황을 넘어선다. 본 논문은 이 방법론을 쌍별(pairwise) 설정으로 확장하는 것을 목표로 한다. 여기서 설명 대상 변수는 두 독립 관측치(예: 생체인식 시스템 입력으로 사용되는 픽셀화된 신분증 사진) 간의 유사도 점수이며, 설명 변수는 나이나 머리색과 같이 이러한 관측치에 부속된 공변량 쌍으로 구성된다. 우리는 이 통계적 학습(statistical learning) 문제의 해에 대한 이론적 보장을 확립한다. 여기서 이 문제는 핀볼 손실(pinball loss)의 쌍별 버전에 대한 경험적 최소화자(empirical minimizer)로 간주된다. $U$-과정($U$-process)에 대한 날카로운 집중(concentration) 결과를 활용하여 일반화 경계(generalization bound)를 증명하고, 빠른 학습률(fast learning rate)을 달성할 수 있는 완화된 조건을 확인한다. 확률론적 분석을 뒷받침하기 위해, 시뮬레이션 데이터 기반 실험 또한 쌍별 분위수 회귀를 위해 여기서 제안하는 방법론의 타당성에 대한 확실한 실증적 증거를 제공한다. 마지막으로, 얼굴 인식에서 유사도 점수 산출 오류를 분석하는 것을 목표로 한 상세 연구를 통해 응용 관점에서의 유용성을 입증한다.

arXiv:2607.14932v1cs.CV공통 태그 Metric Learning, Face Recognition

실제 얼굴 없이 얼굴 인식 벤치마킹

Benchmarking Face Recognition without Real Faces

합성 얼굴 데이터셋은 실제 사진으로 학습한 모델과 대등한 수준의 정확도로 얼굴 인식 모델을 학습시킬 만큼 효과적이 되었다. 이러한 진전은 실제 생체인식 데이터를 수집할 때 따르는 윤리적·법적 부담을 회피하지만, 평가는 그 속도를 따라가지 못했다. 합성 이미지만으로 완전히 학습하는 연구조차도 성능 측정을 위해 실제 얼굴 벤치마크에 의존하며, 이로 인해 프라이버시 문제는 절반만 해결된 상태로 남는다. 우리는 얼굴 인식 평가를 위해 합성 데이터셋이 실제 벤치마크를 대체할 수 있는지 묻는다. 우리는 합성골(convolutional) 및 트랜스포머 아키텍처를 아우르는 24개의 사전학습 모델을 사용하여 12개의 합성 데이터셋을 7개의 확립된 실제 벤치마크와 대조하여 테스트한다. 우리의 평가는 생체인식 검증 지표, 유사도 점수 분포, 교차 모델 순위 일관성, 그리고 각 데이터셋의 근본적인 분포 특성을 포괄한다. 벤치마킹 충실도는 합성 후보들 간에 크게 달랐지만, 가장 강력한 두 데이터셋인 MorphFace와 Vec2Face는 실제 벤치마크의 상대적 거동을 재현하며, 실제 벤치마크들 사이에서 이미 관찰되는 자연스러운 불일치 범위 내에 해당하는 수준의 일치를 달성했다. 이러한 결과는 잘 구성된 합성 데이터셋이 얼굴 인식에 대한 신뢰할 수 있는 비교 평가를 지원할 수 있음을 보여주며, 학습과 벤치마킹 모두를 위한 완전히 합성적이고 프라이버시를 보존하는 파이프라인에 해당 분야를 더 가까이 이끈다.

arXiv:2607.15084v1cs.CV공통 태그 Metric Learning, Face Recognition

Quantifying Training Membership Information in the Hyperspherical Embedding Geometry of Face Recognition Models

듯 { "title_ko": "얼굴 인식 모델의 초구면 임베딩 기하에서 학습 멤버십 정보의 정량화", "abstract_ko": "얼굴 인식 모델은 동일 신원의 임베딩을 클러스터링하고 각도 마진(angular-margin) 손실을 통해 서로 다른 신원을 분리함으로써, 각 얼굴을 단위 초구면(unit hypersphere) 상의 임베딩 벡터로 표현한다. 이러한 손실은 학습 신원에만 작용하기 때문에, 비멤버(non-member) 신원은 서로 다른 기하적 특성을 갖는 클러스터를 형성할 수 있다. 본 논문에서는 이러한 차이의 크기와 이를 조절하는 학습 시점 요인을 정량화한다. IResNet 백본 크기, 손실 헤드, 학습 기간, 학습 신원 수에 대한 요인 설계(factorial design) 하에서 180개의 얼굴 인식 모델에 걸쳐 클러스터 기하에 기반한 네 가지 통계량을 계산하고, 각 설정을 아홉 개의 벤치마크에서 평가한다. 결과에 따르면 학습 신원 수가 멤버/비멤버 분리성에 가장 큰 영향을 미치는 반면, 백본과 손실 헤드의 기여는 훨씬 적으며, 동일 도메인 홀드아웃 기준(same-domain held-out reference)에서 학습에 더 많은 신원이 추가될수록 기하학적 멤버십 신호는 단조적으로 감소한다. 교차 도메인(포즈, 연령, 품질, 인종) 비멤버 벤치마크에 대한 분석을 제공하며, 이러한 벤치마크가 겉보기 멤버십 신호를 부풀린다고 보고한다. 마지막으로, 네 가지 통계량을 모두 학습된 분류기와 융합하여 최상의 개별 통계량을 넘어서는 추가 멤버십 정보를 드러낸다." }

토론

이 논문과 연결된 포럼 글이 아직 없습니다.