arXiv:2309.07110

Data Augmentation via Subgroup Mixup for Improving Fairness

Madeline Navarro, Camille Little, Genevera I. Allen, Santiago Segarra

제출 2023-09-13

원문 초록

In this work, we propose data augmentation via pairwise mixup across subgroups to improve group fairness. Many real-world applications of machine learning systems exhibit biases across certain groups due to under-representation or training data that reflects societal biases. Inspired by the successes of mixup for improving classification performance, we develop a pairwise mixup scheme to augment training data and encourage fair and accurate decision boundaries for all subgroups. Data augmentation for group fairness allows us to add new samples of underrepresented groups to balance subpopulations. Furthermore, our method allows us to use the generalization ability of mixup to improve both fairness and accuracy. We compare our proposed mixup to existing data augmentation and bias mitigation approaches on both synthetic simulations and real-world benchmark fair classification data, demonstrating that we are able to achieve fair outcomes with robust if not improved accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14984v1cs.AI공통 태그 Fairness, Data Augmentation

질병 분류기의 바이어스 완화 및 바이어스 탐지를 위한 인구통계 조건 합성 의료 영상

Demographically-Conditioned Synthetic Medical Images for Bias Mitigation and Bias Detection in Disease Classifiers

의료 영상 분류기에 대한 하위군별 공정성 감사는 표본 크기 문제에 직면한다. 홀드아웃 테스트 세트의 소수 하위군은 표본이 너무 적어, 하위군별 성능에 대한 신뢰구간이 감사가 탐지하려는 바이어스보다 더 넓어진다. 우리는 인구통계학적으로 조건을 부여한 합성 생성기가 학습 측면에서는 바이어스를 완화하고, 평가 측면에서는 바이어스를 탐지하는 두 역할을 모두 수행할 수 있다고 주장한다. 엔드투엔드(end-to-end) 미세조정 Stable Diffusion 2.1 생성기를 사용한 COVID-19 흉부 CT 분류 실험에서 두 가지 발견을 얻었다. 바이어스 완화(학습) 측면에서, 인구통계학적으로 균형 잡힌 합성 코호트는 공동 증강(joint augmentation)이 아니라 사전학습(pre-training) 사전분포(prior)로 활용될 때 가장 유용하다. 동일한 고정 데이터에서 순차적 사전학습 후 미세조정은 공동 증강을 크게 능가하며, 그 결과 분류기는 약 $\sim$$100\times$ 실데이터 효율로 전량 실데이터 기준선을 넘어선다. 바이어스 탐지(평가) 측면에서, 다섯 개의 합성 소수 코호트와 다섯 개의 분류기 시드에 걸쳐, 합성 추정량은 충분한 검정력을 갖춘 실데이터 오라클(oracle)의 하위군 순위를 재현한다(MCC와 재현율에서 Spearman $ρ= 1.00$)며, 소규모 실데이터 테스트 세트에서 표본이 부족한 셀에서 더 신뢰할 수 있는 셀별 추정을 제공한다. 따라서 합성 코호트는 공정성 감사가 중요하게 여기는 바로 그 셀에서, 하위군 바이어스의 해결책이자 측정 수단으로서 가장 유용하다.

arXiv:2607.12987v2cs.CV공통 태그 Fairness, Data Augmentation

공정하고 효율적인 악성 분류를 위한 다양한 피부과 영상의 제어 가능한 생성

Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification

정확한 피부과 진단은 자연스럽게 다양한 인구 집단에 걸친 공평한 성능을 필요로 하지만, 특히 대표성이 낮은 피부 톤과 희귀 질환에 대한 전문가 주석 이미지의 체계적 부족은 측정 가능하게 공정한 방법으로의 진전을 저해한다. 우리는 cgDDI(Controllable Generation of Diverse Dermatological Imagery)를 소개한다. 이는 (1) 다른 입력 속성을 방해하지 않고 사실적인 건강한 피부 샘플을 합성하고, (2) 단일 샘플 희귀 병변을 새로운 피부 톤과 위치에 비모수적으로 매핑하며, (3) 단 10개의 학습 샘플만으로도 효율적인 모수적 생성을 가능하게 하는 하이브리드 프레임워크이다. 이 프레임워크는 사람과 자동 분할 마스킹(segmentation masking)을 모두 지원하여, 사전에 만들어진 병변 마스크가 없는 데이터셋으로도 확장 가능하게 한다. 우리는 656장 이미지 데이터셋을 400배 이상 확장하고, 생검으로 확인된 Diverse Dermatology Images(DDI)와 전문가가 검증한 Fitzpatrick17k(F17k) 두 데이터셋에서 검증한다. DDI 벤치마크에서 합성 데이터만으로 학습한 경우 86.4%의 악성 분류 정확도를, 실제 데이터 미세조정과 함께 90.9%의 최신(state-of-the-art) 성능을 달성했으며, 공정성 지표에서도 선두 수준의 결과를 보였다. 교차 데이터셋 실험에서는 질병 중복이 거의 없음에도 불구하고, 보지 못한 F17k 데이터에서 +13.9%의 정확도 향상을 보였다. 공정성 연구를 더욱 지원하기 위해 26만 6천 개 이상의 합성 이미지, 코드, 생성 모델을 https://github.com/hectorcarrion/ControllableGenDDI 에서 공개한다.

arXiv:2607.05552v2cs.CL공통 태그 Fairness

LLM 도덕 판단의 예-아니오 편향 분해: 입장, 위치, 단어, 판결

Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict

대규모 언어 모델(LLM)은 안전 게이트, 판정자 결정, 가치 탐침 등에서 이진 판결을 점점 더 많이 내리며, 그 답은 모델의 판단으로 읽힌다. 확정된 판단이라면 같은 질문의 짝지어진 표현 사이에서 일관되어야 한다. "찬성합니까?"에 대한 예는 "반대합니까?"에 대한 아니오와 대응해야 한다. LLM은 이 일관성을 자주 위반하며, 예/아니오 질문에서는 판결, 답변 단어, 출력된 위치가 일치하므로 기존의 뒤집은 질문 감사는 무엇이 움직였는지 말해 주지 못하는 하나의 대비만 제공한다. 우리는 뒤집기를 질문 극성, 제시 순서, 답변 레이블의 완전한 2x2 및 2x2x2 교차로 확장하여 입장을 위치, 단어, 레이블, 판결 역할 효과와 분리하는 교차 심리측정 배터리를 도입한다. 독립적인 단계형 도구는 이진 형식 없이 각 모델의 입장 $\theta$를 추정하며, 두 모수 적합(프레이밍 민감도 $m$, 결단성 $s$)은 민감도를 가리는 포화로부터 강건성을 분리한다. 이 배터리를 스무 개의 도덕적 딜레마에 적용하여, 23개 추론 구성에서 Claude, GPT, Gemini 계열의 최첨단 모델 열 개에 대해 135만 회의 시행을 수행한 결과, 응답 형식 편향은 널리 퍼져 있으나 결코 균일하지 않음을 발견했다. 가장 큰 겉보기 예-아니오 편향은 거의 순전히 표면적(단어와 위치)인 반면, 가장 최신 모델 몇몇은 그 반대를 보인다. 뒤집기 대비는 0에 가깝지만 판결 결속이 최대 +0.42에 이르며, 이는 어떤 표면 상쇄로도 드러낼 수 없는 성분이고 레이블 알파벳을 바꿔도 재현된다. 요청된 추론은 이러한 경로를 없애지 않고 재형성한다. 피험자가 자유 텍스트로 결정을 서술하고 별도의 모델이 이를 전사할 때, 두 판정자 계열은 공동으로 채점된 전사의 99.3%에서 일치하며 상충하는 확정 레이블은 없었고, 전사된 입장은 단계형 척도와 수렴한다(중앙값 $r=0.87$). 응답 형식은 도구의 일부이며, 판단은 그것과 분리하여 측정될 수 있다.

arXiv:2607.22305v2cs.AI공통 태그 Fairness

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2607.22149v2cs.LG공통 태그 Fairness

공정한 자기지도 학습을 위한 편향 없는 Open World 정규화

Unbiased Open World Regularization for Fair Self-Supervised Learning

최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.