Damnatio Memoriae: 얼굴 인식 모델의 임베딩 공간에서 정체성을 적대적·선택적으로 망각하기
Damnatio Memoriae: Adversarially and Selectively Forgetting Identities in the Embedding Space of Face Recognition Models
한국어 초록
얼굴 인식 모델은 한 사람이 서로 다른 시점에 촬영된 두 이미지의 임베딩 유사도가 운용 임계값을 넘으면 이를 동일인으로 연결한다. 우리는 모델이 나머지 집단에 대해서는 계속 사용되는 동안, 선택된 정체성들을 서로 다른 시점 간에 연결 불가능하게 만드는 문제를 다룬다. 해당 이미지를 삭제하고 재학습하는 것으로는 이를 달성할 수 없는데, 모델이 학습에서 한 번도 관찰되지 않은 정체성도 인식하기 때문이다. 따라서 이러한 정체성들에 대해 임베딩 공간을 변경해야 하며, 이 과정을 오픈셋 적대적 망각(open-set adversarial forgetting)이라고 부른다. 우리는 세 가지 손실 함수를 제안한다. 하나는 한 정체성의 임베딩을 그 중심(centroid)에서 분산시키는 것이고, 두 개는 각 이미지를 고유한 근직교(near-orthogonal) 타깃에 매핑하는 것으로, 분류기 헤드와 함께 학습하거나 사전에 거의 직교 정규(almost-orthonormal) 프레임으로 고정할 수 있다. 각 손실은 각 정체성 이미지의 부분집합에 대해 분류 목표와 함께 파인튜닝된다. 검증(verification)과 식별(identification)에서 선행 연구의 네 가지 방법과, 두 가지 망각 규모, 세 가지 백본에서 이를 평가한다. 임베딩 기하에 작용하는 모든 손실은 망각 대상 정체성을 거의 식별 불가능하게 만든다. 직교 정규 프레임만으로도 강한 망각을 달성하며, 해당 부분집합의 이미지가 비교에 개입하는 모든 경우에 성립하고 서로 다른 망각 정체성들을 연결 불가능한 상태로 둔다. 또한 더 높은 유지(retain) 비율에서 동시기 비지도 방법을 능가한다.
원문 초록
A face recognition model links two images of a person recorded on separate occasions when their embedding similarity exceeds an operating threshold. We consider making chosen identities unlinkable across separate occasions while the model remains in service for the rest of the population. Deleting their images and retraining does not achieve this, since the model recognises identities never observed in training. Therefore, the embedding space must be altered against these identities, the process of which we call open-set adversarial forgetting. We propose three loss functions, one that disperses an identity's embeddings from their centroid, and two that map each image onto its own near-orthogonal target, learnt with the classifier head or fixed in advance as an almost-orthonormal frame. Each is fine-tuned alongside the classification objective on a subset of each identity's images. We evaluate them against four methods from prior work in verification and identification, at two forget scales and three backbones. Every loss acting on the embedding geometry makes the forget identities nearly unidentifiable. The orthonormal frame alone achieves strong forgetting, which holds wherever an image of that subset enters the comparison and leaves distinct forget identities unlinkable. It also surpasses a concurrent unsupervised method at a higher retain rate.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27115v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SUPREME: 재현 가능한 이미지 언러닝 기법 평가를 위한 멀티 GPU 프레임워크
SUPREME: A Multi-GPU Framework for Reproducible Image Unlearning Method Evaluation
머신 언러닝(Machine unlearning)은 모델을 처음부터 다시 학습(training)하지 않고도 학습된 모델(model)에서 특정 학습 데이터의 영향을 제거합니다. 언러닝 기법을 평가하려면 여러 시드(seed)에 걸쳐 학습, 언러닝, 평가를 반복해야 하므로 계산 비용이 많이 듭니다. 우리가 아는 한, 기존 이미지 분류(image classification) 언러닝 프레임워크는 단일 GPU에서 실행되므로 적절한 시간 내에 평가할 수 있는 시드 수가 제한됩니다. 본 논문에서는 이러한 단계를 여러 GPU에 분산하는 오픈소스 프레임워크인 SUPREME을 소개합니다. SUPREME은 새로운 기법, 지표, 모델, 시나리오를 추가하기 위한 레지스트리 기반 설계, 여러 가속기와 정밀도(precision) 모드를 지원하는 멀티 GPU 아키텍처, 그리고 10개의 시드에 걸쳐 전체 클래스 및 무작위 샘플 언러닝 조건에서 ResNet18 및 ViT를 사용해 Pins Face Recognition 데이터셋에 대해 진행한 시연이라는 세 가지 기여를 제공합니다. 해당 프레임워크는 https://github.com/pedroandreou/supreme-unlearning 에서 이용할 수 있습니다.
IJCB-AFMFR 2026: 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회
IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data
본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.
쌍별 분위수 회귀에 관하여 - 통계적 보장과 응용
On Pairwise Quantile Regression - Statistical Guarantees and Applications
분위수 회귀(quantile regression)는 공변량 $Z$에 대한 함수로 관심 있는 실수값 확률변수(r.v.) $Y$의 조건부 분포를 요약하는 강력한 도구를 제공하며, 이는 높은 확률로 큰 분산을 보이는 경우에 해당하고, 표준 최소제곱 회귀(least squares regression)가 정보적이거나 예측적으로 유용한 상황을 넘어선다. 본 논문은 이 방법론을 쌍별(pairwise) 설정으로 확장하는 것을 목표로 한다. 여기서 설명 대상 변수는 두 독립 관측치(예: 생체인식 시스템 입력으로 사용되는 픽셀화된 신분증 사진) 간의 유사도 점수이며, 설명 변수는 나이나 머리색과 같이 이러한 관측치에 부속된 공변량 쌍으로 구성된다. 우리는 이 통계적 학습(statistical learning) 문제의 해에 대한 이론적 보장을 확립한다. 여기서 이 문제는 핀볼 손실(pinball loss)의 쌍별 버전에 대한 경험적 최소화자(empirical minimizer)로 간주된다. $U$-과정($U$-process)에 대한 날카로운 집중(concentration) 결과를 활용하여 일반화 경계(generalization bound)를 증명하고, 빠른 학습률(fast learning rate)을 달성할 수 있는 완화된 조건을 확인한다. 확률론적 분석을 뒷받침하기 위해, 시뮬레이션 데이터 기반 실험 또한 쌍별 분위수 회귀를 위해 여기서 제안하는 방법론의 타당성에 대한 확실한 실증적 증거를 제공한다. 마지막으로, 얼굴 인식에서 유사도 점수 산출 오류를 분석하는 것을 목표로 한 상세 연구를 통해 응용 관점에서의 유용성을 입증한다.
실제 얼굴 없이 얼굴 인식 벤치마킹
Benchmarking Face Recognition without Real Faces
합성 얼굴 데이터셋은 실제 사진으로 학습한 모델과 대등한 수준의 정확도로 얼굴 인식 모델을 학습시킬 만큼 효과적이 되었다. 이러한 진전은 실제 생체인식 데이터를 수집할 때 따르는 윤리적·법적 부담을 회피하지만, 평가는 그 속도를 따라가지 못했다. 합성 이미지만으로 완전히 학습하는 연구조차도 성능 측정을 위해 실제 얼굴 벤치마크에 의존하며, 이로 인해 프라이버시 문제는 절반만 해결된 상태로 남는다. 우리는 얼굴 인식 평가를 위해 합성 데이터셋이 실제 벤치마크를 대체할 수 있는지 묻는다. 우리는 합성골(convolutional) 및 트랜스포머 아키텍처를 아우르는 24개의 사전학습 모델을 사용하여 12개의 합성 데이터셋을 7개의 확립된 실제 벤치마크와 대조하여 테스트한다. 우리의 평가는 생체인식 검증 지표, 유사도 점수 분포, 교차 모델 순위 일관성, 그리고 각 데이터셋의 근본적인 분포 특성을 포괄한다. 벤치마킹 충실도는 합성 후보들 간에 크게 달랐지만, 가장 강력한 두 데이터셋인 MorphFace와 Vec2Face는 실제 벤치마크의 상대적 거동을 재현하며, 실제 벤치마크들 사이에서 이미 관찰되는 자연스러운 불일치 범위 내에 해당하는 수준의 일치를 달성했다. 이러한 결과는 잘 구성된 합성 데이터셋이 얼굴 인식에 대한 신뢰할 수 있는 비교 평가를 지원할 수 있음을 보여주며, 학습과 벤치마킹 모두를 위한 완전히 합성적이고 프라이버시를 보존하는 파이프라인에 해당 분야를 더 가까이 이끈다.
Quantifying Training Membership Information in the Hyperspherical Embedding Geometry of Face Recognition Models
듯 { "title_ko": "얼굴 인식 모델의 초구면 임베딩 기하에서 학습 멤버십 정보의 정량화", "abstract_ko": "얼굴 인식 모델은 동일 신원의 임베딩을 클러스터링하고 각도 마진(angular-margin) 손실을 통해 서로 다른 신원을 분리함으로써, 각 얼굴을 단위 초구면(unit hypersphere) 상의 임베딩 벡터로 표현한다. 이러한 손실은 학습 신원에만 작용하기 때문에, 비멤버(non-member) 신원은 서로 다른 기하적 특성을 갖는 클러스터를 형성할 수 있다. 본 논문에서는 이러한 차이의 크기와 이를 조절하는 학습 시점 요인을 정량화한다. IResNet 백본 크기, 손실 헤드, 학습 기간, 학습 신원 수에 대한 요인 설계(factorial design) 하에서 180개의 얼굴 인식 모델에 걸쳐 클러스터 기하에 기반한 네 가지 통계량을 계산하고, 각 설정을 아홉 개의 벤치마크에서 평가한다. 결과에 따르면 학습 신원 수가 멤버/비멤버 분리성에 가장 큰 영향을 미치는 반면, 백본과 손실 헤드의 기여는 훨씬 적으며, 동일 도메인 홀드아웃 기준(same-domain held-out reference)에서 학습에 더 많은 신원이 추가될수록 기하학적 멤버십 신호는 단조적으로 감소한다. 교차 도메인(포즈, 연령, 품질, 인종) 비멤버 벤치마크에 대한 분석을 제공하며, 이러한 벤치마크가 겉보기 멤버십 신호를 부풀린다고 보고한다. 마지막으로, 네 가지 통계량을 모두 학습된 분류기와 융합하여 최상의 개별 통계량을 넘어서는 추가 멤버십 정보를 드러낸다." }
MGFace: 조건부 유사도 라우팅을 통한 마스크 게이트 얼굴 매칭
MGFace: Mask-Gated Face Matching via Conditional Similarity Routing
얼굴 식별은 정상 조건에서 뛰어난 성능을 달성해 왔다. 그러나 질의 얼굴이 부분적으로 가려진 경우, 특히 얼굴 마스크에 의해 가려진 경우 정확도가 크게 저하되는 경우가 많다. 기존 re-ranking 접근법은 패치 수준 유사도를 활용하여 견고성을 향상시키지만, 종종 비용이 큰 세밀한(fine-grained) 매칭 메커니즘에 의존하여 대규모 검색 시나리오에서의 효율성을 제한한다. 본 논문에서는 질의 얼굴의 마스크 상태를 예측하고 이에 따라 유사도 계산을 조건부로 라우팅하는 마스크 게이트 얼굴 식별 파이프라인인 MGFace를 제안한다. 구체적으로 MGFace는 마스크 착용 및 미착용 질의를 구분하고, 미착용 질의에는 전역 임베딩 매칭을 적용하며, 마스크 착용 질의에 대해서만 마스크 인식 패치 수준 re-ranking을 활성화한다. 이 설계는 신뢰할 수 있는 상부 얼굴 영역에 집중하면서 불필요한 세밀한 연산을 피한다. 확장 LFW-Mask 데이터셋에서의 실험 결과, MGFace는 FaceNet 백본으로 80% 이상, ArcFace 백본으로 90% 이상의 식별 정확도를 달성한다. 이전 EMD 기반 re-ranking 방법과 비교하여 MGFace는 질의 시간을 약 20배 줄이면서 더 나은 식별 성능을 달성한다. 이 결과는 MGFace가 낮은 계산 부담으로 마스크 착용 얼굴 식별 정확도를 향상시키는 데 효과적임을 보여준다. 소스 코드는 https://github.com/chequanghuy/MGFace 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.