arXiv:2409.09274

LabellessFace: Fair Metric Learning for Face Recognition without Attribute Labels

Tetsushi Ohki, Yuya Sato, Masakatsu Nishigaki, Koichi Ito

제출 2024-09-14

원문 초록

Demographic bias is one of the major challenges for face recognition systems. The majority of existing studies on demographic biases are heavily dependent on specific demographic groups or demographic classifier, making it difficult to address performance for unrecognised groups. This paper introduces ``LabellessFace'', a novel framework that improves demographic bias in face recognition without requiring demographic group labeling typically required for fairness considerations. We propose a novel fairness enhancement metric called the class favoritism level, which assesses the extent of favoritism towards specific classes across the dataset. Leveraging this metric, we introduce the fair class margin penalty, an extension of existing margin-based metric learning. This method dynamically adjusts learning parameters based on class favoritism levels, promoting fairness across all attributes. By treating each class as an individual in facial recognition systems, we facilitate learning that minimizes biases in authentication accuracy among individuals. Comprehensive experiments have demonstrated that our proposed method is effective for enhancing fairness while maintaining authentication accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24422v1cs.CV공통 태그 Fairness, Metric Learning, Face Recognition

IJCB-AFMFR 2026: 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회

IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data

본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.

arXiv:2609.27115v1cs.CV공통 태그 Metric Learning, Face Recognition

Damnatio Memoriae: 얼굴 인식 모델의 임베딩 공간에서 정체성을 적대적·선택적으로 망각하기

Damnatio Memoriae: Adversarially and Selectively Forgetting Identities in the Embedding Space of Face Recognition Models

얼굴 인식 모델은 한 사람이 서로 다른 시점에 촬영된 두 이미지의 임베딩 유사도가 운용 임계값을 넘으면 이를 동일인으로 연결한다. 우리는 모델이 나머지 집단에 대해서는 계속 사용되는 동안, 선택된 정체성들을 서로 다른 시점 간에 연결 불가능하게 만드는 문제를 다룬다. 해당 이미지를 삭제하고 재학습하는 것으로는 이를 달성할 수 없는데, 모델이 학습에서 한 번도 관찰되지 않은 정체성도 인식하기 때문이다. 따라서 이러한 정체성들에 대해 임베딩 공간을 변경해야 하며, 이 과정을 오픈셋 적대적 망각(open-set adversarial forgetting)이라고 부른다. 우리는 세 가지 손실 함수를 제안한다. 하나는 한 정체성의 임베딩을 그 중심(centroid)에서 분산시키는 것이고, 두 개는 각 이미지를 고유한 근직교(near-orthogonal) 타깃에 매핑하는 것으로, 분류기 헤드와 함께 학습하거나 사전에 거의 직교 정규(almost-orthonormal) 프레임으로 고정할 수 있다. 각 손실은 각 정체성 이미지의 부분집합에 대해 분류 목표와 함께 파인튜닝된다. 검증(verification)과 식별(identification)에서 선행 연구의 네 가지 방법과, 두 가지 망각 규모, 세 가지 백본에서 이를 평가한다. 임베딩 기하에 작용하는 모든 손실은 망각 대상 정체성을 거의 식별 불가능하게 만든다. 직교 정규 프레임만으로도 강한 망각을 달성하며, 해당 부분집합의 이미지가 비교에 개입하는 모든 경우에 성립하고 서로 다른 망각 정체성들을 연결 불가능한 상태로 둔다. 또한 더 높은 유지(retain) 비율에서 동시기 비지도 방법을 능가한다.

arXiv:2607.22546v1cs.CL공통 태그 Fairness, Attribute

GAND 설명: 성별 모호 자연 데이터 및 대조적 속성 분석 리소스

Explaining GAND: A Resource on Gender-Ambiguous Natural Data & Contrastive Attribution

기계 번역(MT) 시스템은 여전히 성별 편향 번역을 생성한다. 자기 표현이 매우 중요한 시대에, 기본 동작과 고정관념에 기반한 오역은 이러한 시스템 사용자에게 해를 끼칠 수 있다. 명확한 성별 단서가 없을 때 이러한 시스템이 성별을 어떻게 번역하는지 더 잘 이해하려면, 성별 모호 시나리오를 자연스럽게 반영하는 벤치마킹 리소스가 필요하다. 이를 위해 우리는 GAND를 제시한다. GAND는 영어 원문 문장으로 구성된 MT용 성별 모호 자연 데이터 벤치마킹 리소스로, 번역에서 문맥 단서가 성별에 미치는 영향을 분석하도록 특별히 설계되었다. 우리는 GAND를 활용하여 해석 가능성 분석을 수행한다: GAND의 부분집합을 두 개의 문법적 성별 언어로 번역하고, 이를 수작업으로 작성한 대조적 번역으로 확장한다. 이어진 특징 기여도(feature attribution) 분석을 통해, 대상 번역에서 모호한 지시 대상 엔티티의 성별 번역에 영향을 미치는 문맥 속 원문 단어를 밝혀낸다.

arXiv:2607.24194v1cs.CV공통 태그 Fairness, Face Recognition

단순한 외모 조작 하에서의 얼굴 연령 검증 취약성

Face Age Verification Vulnerabilities Under Simple Appearance Manipulations

온라인 플랫폼은 최소 연령 정책을 시행하기 위해 자동화된 연령 추정 시스템에 점점 더 의존하고 있다. 이 과제를 위해 설계된 비전 기반 모델에 초점을 맞추면, 미성년자가 콧수염을 그리거나 립스틱을 바르는 등과 같이 그러한 시스템을 우회하기 위해 사용할 수 있는 단순한 외모 변화에 대한 견고성(robustness)에 대한 우려가 제기된다. 본 연구에서는 미성년자가 쉽게 수행할 수 있는 시각적 변형을 시뮬레이션하여 연령 검증 견고성에 대한 체계적인 연구를 제시한다. 우리는 세 개의 데이터셋과 네 가지 조작 유형에 걸쳐 비전, 비전-언어(vision-language), 멀티모달 대규모 언어 모델(multimodal large language model)을 포함한 일곱 개의 모델을 평가한다. 흥미롭게도, 그려진 수염 털(stubble) 조작 하에서 True Negative의 최대 61%가 False Positive로 뒤바뀐다. 또한, 이러한 조작이 다양한 인구통계학적 집단에 어떻게 영향을 미치는지 조사한 결과, 인도인은 수염 털 조작에 더 크게 영향을 받으며, 모든 조작 유형에서 여성이 남성보다 더 크게 영향을 받는 것으로 나타났다. 마지막으로, 경량 선형 프로브(linear probe) 설정에서 바이어스 완화 방법론을 사용하여 이러한 바이어스를 어떻게 완화할 수 있는지 탐구한다.

arXiv:2607.21774v1cs.CL공통 태그 Fairness, Attribute

Natural Language Autoencoder를 이용한 Qwen2.5-7B의 잠재적 콜롬비아 정체성 추론 프로빙

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

대규모 언어 모델(LLM)은 해당 속성이 명시적으로 진술되지 않은 경우에도 미묘한 언어적 단서로부터 인구통계학적 속성을 추론할 수 있다. 본 파일럿 연구는 Qwen2.5-7B-Instruct가 콜롬비아 스페인어 및 영어 프롬프트를 처리할 때 콜롬비아 정체성, 사회경제적 지위, 또는 고정관념 관련 정보를 내부적으로 표상하는지 조사한다. 우리는 프롬프트당 네 가지 위치 사분위(positional quartile)에 걸쳐 20번째 층의 잔차 스트림(residual-stream) 활성화를 언어화하기 위해 Natural Language Autoencoders(NLA)를 사용한다. 우리 데이터셋은 명시적 콜롬비아 단서, 암시적 콜롬비아 단서, 중립 통제를 아우르는 15쌍의 매칭된 스페인어-영어 쌍으로 구성된 30개의 프롬프트를 포함한다. 우리는 통계적으로 검정력이 충분한 효과보다는 기술적 비율과 정성적 증거를 보고하며, 모델 출력에서 언어화되기 전에 잠재적 국적 또는 고정관념 표상이 나타나는지에 초점을 맞춘다. 본 연구는 활성화 수준의 해석 가능성(interpretability)과 소외된 스페인어 변종(varieties)에 대한 바이어스 평가를 연결한다.

arXiv:2607.20897v1cs.CV공통 태그 Fairness, Attribute

MAGE-Vein: 손가락 정맥 이미지 기반 다중 인스턴스 연령·성별 추정

MAGE-Vein: Multi-Instance Age and Gender Estimation from Finger Vein Images

손가락 정맥 이미지를 이용한 연령 추정은 공개 데이터셋의 심각한 인구통계학적 편향과 성별과 같은 생리학적 교란 요인으로 인해 실용적이지 않다고 널리 여겨져 왔다. 이러한 한계를 극복하기 위해, 우리는 새로운 다중 인스턴스, 다중 과제 학습(multi-task learning) 프레임워크인 MAGE-Vein을 제안한다. 우리의 접근법은 세 손가락의 하이브리드 특징 수준(feature-level) 융합을 통해 견고한 구조적 노화 징후를 추출하여 국소 영상 노이즈를 효과적으로 억제한다. 또한 성별 분류를 동시에 최적화함으로써 네트워크가 성별 특이적 혈관 변이를 효과적으로 제거하도록 유도한다. 인구통계학적으로 균형 잡힌 402명의 피험자 데이터셋에서 평가한 결과, MAGE-Vein은 평균 절대 오차 6.12년과 상관계수 0.880을 달성한다. 우리의 결과는 손가락 정맥 모달리티의 한계에 관한 기존 합의를 뒤집을 뿐만 아니라, 이전 추정 실패가 주로 편향된 공개 데이터셋에서 기인한 인공물이었음을 보여준다. 코드는 https://github.com/gsisaoki/MAGE-Vein 에서 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.