arXiv:2007.10075

Investigating Bias and Fairness in Facial Expression Recognition

Tian Xu, Jennifer White, Sinan Kalkan, Hatice Gunes

제출 2020-07-20

원문 초록

Recognition of expressions of emotions and affect from facial images is a well-studied research problem in the fields of affective computing and computer vision with a large number of datasets available containing facial images and corresponding expression labels. However, virtually none of these datasets have been acquired with consideration of fair distribution across the human population. Therefore, in this work, we undertake a systematic investigation of bias and fairness in facial expression recognition by comparing three different approaches, namely a baseline, an attribute-aware and a disentangled approach, on two well-known datasets, RAF-DB and CelebA. Our results indicate that: (i) data augmentation improves the accuracy of the baseline model, but this alone is unable to mitigate the bias effect; (ii) both the attribute-aware and the disentangled approaches fortified with data augmentation perform better than the baseline approach in terms of accuracy and fairness; (iii) the disentangled approach is the best for mitigating demographic bias; and (iv) the bias mitigation strategies are more suitable in the existence of uneven attribute distribution or imbalanced number of subgroup data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22546v1cs.CL공통 태그 Fairness, Attribute

GAND 설명: 성별 모호 자연 데이터 및 대조적 속성 분석 리소스

Explaining GAND: A Resource on Gender-Ambiguous Natural Data & Contrastive Attribution

기계 번역(MT) 시스템은 여전히 성별 편향 번역을 생성한다. 자기 표현이 매우 중요한 시대에, 기본 동작과 고정관념에 기반한 오역은 이러한 시스템 사용자에게 해를 끼칠 수 있다. 명확한 성별 단서가 없을 때 이러한 시스템이 성별을 어떻게 번역하는지 더 잘 이해하려면, 성별 모호 시나리오를 자연스럽게 반영하는 벤치마킹 리소스가 필요하다. 이를 위해 우리는 GAND를 제시한다. GAND는 영어 원문 문장으로 구성된 MT용 성별 모호 자연 데이터 벤치마킹 리소스로, 번역에서 문맥 단서가 성별에 미치는 영향을 분석하도록 특별히 설계되었다. 우리는 GAND를 활용하여 해석 가능성 분석을 수행한다: GAND의 부분집합을 두 개의 문법적 성별 언어로 번역하고, 이를 수작업으로 작성한 대조적 번역으로 확장한다. 이어진 특징 기여도(feature attribution) 분석을 통해, 대상 번역에서 모호한 지시 대상 엔티티의 성별 번역에 영향을 미치는 문맥 속 원문 단어를 밝혀낸다.

arXiv:2607.21774v1cs.CL공통 태그 Fairness, Attribute

Natural Language Autoencoder를 이용한 Qwen2.5-7B의 잠재적 콜롬비아 정체성 추론 프로빙

Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

대규모 언어 모델(LLM)은 해당 속성이 명시적으로 진술되지 않은 경우에도 미묘한 언어적 단서로부터 인구통계학적 속성을 추론할 수 있다. 본 파일럿 연구는 Qwen2.5-7B-Instruct가 콜롬비아 스페인어 및 영어 프롬프트를 처리할 때 콜롬비아 정체성, 사회경제적 지위, 또는 고정관념 관련 정보를 내부적으로 표상하는지 조사한다. 우리는 프롬프트당 네 가지 위치 사분위(positional quartile)에 걸쳐 20번째 층의 잔차 스트림(residual-stream) 활성화를 언어화하기 위해 Natural Language Autoencoders(NLA)를 사용한다. 우리 데이터셋은 명시적 콜롬비아 단서, 암시적 콜롬비아 단서, 중립 통제를 아우르는 15쌍의 매칭된 스페인어-영어 쌍으로 구성된 30개의 프롬프트를 포함한다. 우리는 통계적으로 검정력이 충분한 효과보다는 기술적 비율과 정성적 증거를 보고하며, 모델 출력에서 언어화되기 전에 잠재적 국적 또는 고정관념 표상이 나타나는지에 초점을 맞춘다. 본 연구는 활성화 수준의 해석 가능성(interpretability)과 소외된 스페인어 변종(varieties)에 대한 바이어스 평가를 연결한다.

arXiv:2607.20897v1cs.CV공통 태그 Fairness, Attribute

MAGE-Vein: 손가락 정맥 이미지 기반 다중 인스턴스 연령·성별 추정

MAGE-Vein: Multi-Instance Age and Gender Estimation from Finger Vein Images

손가락 정맥 이미지를 이용한 연령 추정은 공개 데이터셋의 심각한 인구통계학적 편향과 성별과 같은 생리학적 교란 요인으로 인해 실용적이지 않다고 널리 여겨져 왔다. 이러한 한계를 극복하기 위해, 우리는 새로운 다중 인스턴스, 다중 과제 학습(multi-task learning) 프레임워크인 MAGE-Vein을 제안한다. 우리의 접근법은 세 손가락의 하이브리드 특징 수준(feature-level) 융합을 통해 견고한 구조적 노화 징후를 추출하여 국소 영상 노이즈를 효과적으로 억제한다. 또한 성별 분류를 동시에 최적화함으로써 네트워크가 성별 특이적 혈관 변이를 효과적으로 제거하도록 유도한다. 인구통계학적으로 균형 잡힌 402명의 피험자 데이터셋에서 평가한 결과, MAGE-Vein은 평균 절대 오차 6.12년과 상관계수 0.880을 달성한다. 우리의 결과는 손가락 정맥 모달리티의 한계에 관한 기존 합의를 뒤집을 뿐만 아니라, 이전 추정 실패가 주로 편향된 공개 데이터셋에서 기인한 인공물이었음을 보여준다. 코드는 https://github.com/gsisaoki/MAGE-Vein 에서 제공된다.

arXiv:2607.14984v1cs.AI공통 태그 Fairness, Data Augmentation

질병 분류기의 바이어스 완화 및 바이어스 탐지를 위한 인구통계 조건 합성 의료 영상

Demographically-Conditioned Synthetic Medical Images for Bias Mitigation and Bias Detection in Disease Classifiers

의료 영상 분류기에 대한 하위군별 공정성 감사는 표본 크기 문제에 직면한다. 홀드아웃 테스트 세트의 소수 하위군은 표본이 너무 적어, 하위군별 성능에 대한 신뢰구간이 감사가 탐지하려는 바이어스보다 더 넓어진다. 우리는 인구통계학적으로 조건을 부여한 합성 생성기가 학습 측면에서는 바이어스를 완화하고, 평가 측면에서는 바이어스를 탐지하는 두 역할을 모두 수행할 수 있다고 주장한다. 엔드투엔드(end-to-end) 미세조정 Stable Diffusion 2.1 생성기를 사용한 COVID-19 흉부 CT 분류 실험에서 두 가지 발견을 얻었다. 바이어스 완화(학습) 측면에서, 인구통계학적으로 균형 잡힌 합성 코호트는 공동 증강(joint augmentation)이 아니라 사전학습(pre-training) 사전분포(prior)로 활용될 때 가장 유용하다. 동일한 고정 데이터에서 순차적 사전학습 후 미세조정은 공동 증강을 크게 능가하며, 그 결과 분류기는 약 $\sim$$100\times$ 실데이터 효율로 전량 실데이터 기준선을 넘어선다. 바이어스 탐지(평가) 측면에서, 다섯 개의 합성 소수 코호트와 다섯 개의 분류기 시드에 걸쳐, 합성 추정량은 충분한 검정력을 갖춘 실데이터 오라클(oracle)의 하위군 순위를 재현한다(MCC와 재현율에서 Spearman $ρ= 1.00$)며, 소규모 실데이터 테스트 세트에서 표본이 부족한 셀에서 더 신뢰할 수 있는 셀별 추정을 제공한다. 따라서 합성 코호트는 공정성 감사가 중요하게 여기는 바로 그 셀에서, 하위군 바이어스의 해결책이자 측정 수단으로서 가장 유용하다.

arXiv:2607.12987v2cs.CV공통 태그 Fairness, Data Augmentation

공정하고 효율적인 악성 분류를 위한 다양한 피부과 영상의 제어 가능한 생성

Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification

정확한 피부과 진단은 자연스럽게 다양한 인구 집단에 걸친 공평한 성능을 필요로 하지만, 특히 대표성이 낮은 피부 톤과 희귀 질환에 대한 전문가 주석 이미지의 체계적 부족은 측정 가능하게 공정한 방법으로의 진전을 저해한다. 우리는 cgDDI(Controllable Generation of Diverse Dermatological Imagery)를 소개한다. 이는 (1) 다른 입력 속성을 방해하지 않고 사실적인 건강한 피부 샘플을 합성하고, (2) 단일 샘플 희귀 병변을 새로운 피부 톤과 위치에 비모수적으로 매핑하며, (3) 단 10개의 학습 샘플만으로도 효율적인 모수적 생성을 가능하게 하는 하이브리드 프레임워크이다. 이 프레임워크는 사람과 자동 분할 마스킹(segmentation masking)을 모두 지원하여, 사전에 만들어진 병변 마스크가 없는 데이터셋으로도 확장 가능하게 한다. 우리는 656장 이미지 데이터셋을 400배 이상 확장하고, 생검으로 확인된 Diverse Dermatology Images(DDI)와 전문가가 검증한 Fitzpatrick17k(F17k) 두 데이터셋에서 검증한다. DDI 벤치마크에서 합성 데이터만으로 학습한 경우 86.4%의 악성 분류 정확도를, 실제 데이터 미세조정과 함께 90.9%의 최신(state-of-the-art) 성능을 달성했으며, 공정성 지표에서도 선두 수준의 결과를 보였다. 교차 데이터셋 실험에서는 질병 중복이 거의 없음에도 불구하고, 보지 못한 F17k 데이터에서 +13.9%의 정확도 향상을 보였다. 공정성 연구를 더욱 지원하기 위해 26만 6천 개 이상의 합성 이미지, 코드, 생성 모델을 https://github.com/hectorcarrion/ControllableGenDDI 에서 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.