arXiv:2412.02528

Bias Analysis of AI Models for Undergraduate Student Admissions

Kelly Van Busum, Shiaofen Fang

제출 2024-12-03

원문 초록

Bias detection and mitigation is an active area of research in machine learning. This work extends previous research done by the authors to provide a rigorous and more complete analysis of the bias found in AI predictive models. Admissions data spanning six years was used to create an AI model to determine whether a given student would be directly admitted into the School of Science under various scenarios at a large urban research university. During this time, submission of standardized test scores as part of an application became optional which led to interesting questions about the impact of standardized test scores on admission decisions. We developed and analyzed AI models to understand which variables are important in admissions decisions, and how the decision to exclude test scores affects the demographics of the students who are admitted. We then evaluated the predictive models to detect and analyze biases these models may carry with respect to three variables chosen to represent sensitive populations: gender, race, and whether a student was the first in his or her family to attend college. We also extended our analysis to show that the biases detected were persistent. Finally, we included several fairness metrics in our analysis and discussed the uses and limitations of these metrics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.26100v1cs.CL공통 태그 Fairness, Bias Detection

HierBias: 문맥 조건 계층적 미디어 바이어스 탐지와 다중 과제 유형 분류

HierBias: Context-Conditioned Hierarchical Media Bias Detection with Multi-Task Type Classification

미디어 바이어스 탐지는 공정하고 균형 잡힌 정보 전달을 보장하기 위한 중요한 과제이지만, 기존의 문장 수준 접근법은 각 문장을 독립적으로 분류하여 인간 주석자가 자연스럽게 활용하는 문장 간 문맥 신호를 무시한다. 우리는 바이어스 예측에서 문서 문맥을 형식적으로 모델링하는 계층적 문맥 조건 미디어 바이어스 탐지기 \textbf{HierBias}를 제안한다. 우리는 \emph{context-conditioned bias probability}를 도입하고, 문장 간 상호정보량이 0이 아닐 때 문서 문맥을 활용하면 문장 수준 분류의 베이즈 오류가 엄격하게 감소함을 이론적으로 증명한다. 다중 과제 일반화 한계는 추가로, 이진 바이어스 탐지와 세분화된 바이어스 유형 분류를 공동 학습하면 소규모 주석 코퍼스에서 표본 효율이 향상됨을 입증한다. 아키텍처적으로 HierBias는 문장 수준 RoBERTa 인코더와 문장 간 트랜스포머 집약기, 그리고 이진 탐지와 4클래스 유형 분류를 위한 이중 출력 헤드를 결합한다. BABE와 BASIL에서 평가한 결과, HierBias는 F1 0.853과 MCC 0.723을 달성하여, 최첨단 바이어스 탐지기 대비 F1 $+2.6\%$, MCC $+4.3\%$를 초과한다(McNemar 검정, $p < 0.05$). Ablation 실험은 각 이론적 구성 요소가 독립적이고 일관되게 기여함을 확인한다.

arXiv:2606.23412v1cs.CL공통 태그 Fairness, Bias Detection

UnBias-Plus: 바이어스 탐지, 설명 및 재작성

UnBias-Plus: Detect, Explain, and Rewrite Bias

자연어의 바이어스는 인간이 작성한 콘텐츠와 AI가 생성한 콘텐츠 모두에서 지속적인 과제로 남아 있으며, 저널리즘, 교육, AI 연구 등의 분야에 영향을 미칩니다. 기존 대부분의 탐지 방법은 바이어스의 존재만 식별할 뿐, 세분화된 탐지, 해석 가능한 설명, 중립적 재작성, 공개적으로 이용 가능한 학습된 모델에 대한 지원은 제한적입니다. 우리는 (1) 세그먼트 수준 다중 클래스 바이어스 분류, (2) 편향 구간(span) 위치 특정, (3) 중립적 텍스트 재작성, (4) 각 결정에 대한 추론(reasoning)을 통합한 오픈소스 툴킷 UnBias-Plus를 제안합니다. Python, CLI, REST API 및 웹 인터페이스를 통해 제공되는 UnBias-Plus는 접근 가능한 바이어스 분석을 지원합니다. 툴킷, 소스 코드, 모델, 데이터셋 및 문서는 공개적으로 제공됩니다.

arXiv:2606.21869v3cs.CL공통 태그 Fairness

언어-에너지 격차: 다국어 LLM 추론의 에너지 비용 측정

The Language-Energy Divide: Measuring Energy Costs of Multilingual LLM Inference

대규모 언어 모델(LLM)은 다국어 환경에서 점점 더 배포되고 있지만, 다양한 언어에 걸쳐 이러한 모델을 서빙할 때의 에너지 비용은 여전히 잘 이해되지 않고 있다. ML.Energy 프레임워크(Chung et al., 2026)를 사용하여 언어 간 추론 에너지 소비에 대한 체계적인 연구를 제시한다. 우리는 뚜렷한 격차를 발견한다: 출력 토큰당 에너지 소비는 언어에 따라 최대 8.3배까지 달라지며, 고정된 요청 집합에 대한 총 에너지는 가장 저렴한 언어(영어, 17.6 kJ)와 가장 비싼 언어(파슈토어, 3,147 kJ) 사이에서 최대 179배까지 차이 난다. 분석 결과, 이러한 격차는 두 가지 복합 요인에 의해 발생한다: (1) 복잡하거나 희귀한 문자 체계를 사용하는 언어에서 토큰당 에너지 비용이 더 높고, (2) 저자원 언어에서 더 많은 토큰이 생성된다. 더 나아가, 이중 비용+성능 페널티를 발견한다: 에너지 발자국이 가장 큰 언어일수록 작업 정확도도 가장 낮은 경향이 있다. 에너지 격차는 모델, 하드웨어, 작업 전반에 걸쳐 지속되며, 이는 다국어 LLM 배포에서 구조적인 에너지 불평등이 있음을 시사한다. 마지막으로, 커뮤니티가 에너지를 1급 평가 축으로 취급하고, 보고 체크리스트와 모델 카드에 이를 포함하도록 확장하며, 더 나은 에너지 효율을 위한 배포 측면의 완화 조치를 채택할 것을 권고한다.

arXiv:2607.05552v2cs.CL공통 태그 Fairness

LLM 도덕 판단의 예-아니오 편향 분해: 입장, 위치, 단어, 판결

Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict

대규모 언어 모델(LLM)은 안전 게이트, 판정자 결정, 가치 탐침 등에서 이진 판결을 점점 더 많이 내리며, 그 답은 모델의 판단으로 읽힌다. 확정된 판단이라면 같은 질문의 짝지어진 표현 사이에서 일관되어야 한다. "찬성합니까?"에 대한 예는 "반대합니까?"에 대한 아니오와 대응해야 한다. LLM은 이 일관성을 자주 위반하며, 예/아니오 질문에서는 판결, 답변 단어, 출력된 위치가 일치하므로 기존의 뒤집은 질문 감사는 무엇이 움직였는지 말해 주지 못하는 하나의 대비만 제공한다. 우리는 뒤집기를 질문 극성, 제시 순서, 답변 레이블의 완전한 2x2 및 2x2x2 교차로 확장하여 입장을 위치, 단어, 레이블, 판결 역할 효과와 분리하는 교차 심리측정 배터리를 도입한다. 독립적인 단계형 도구는 이진 형식 없이 각 모델의 입장 $\theta$를 추정하며, 두 모수 적합(프레이밍 민감도 $m$, 결단성 $s$)은 민감도를 가리는 포화로부터 강건성을 분리한다. 이 배터리를 스무 개의 도덕적 딜레마에 적용하여, 23개 추론 구성에서 Claude, GPT, Gemini 계열의 최첨단 모델 열 개에 대해 135만 회의 시행을 수행한 결과, 응답 형식 편향은 널리 퍼져 있으나 결코 균일하지 않음을 발견했다. 가장 큰 겉보기 예-아니오 편향은 거의 순전히 표면적(단어와 위치)인 반면, 가장 최신 모델 몇몇은 그 반대를 보인다. 뒤집기 대비는 0에 가깝지만 판결 결속이 최대 +0.42에 이르며, 이는 어떤 표면 상쇄로도 드러낼 수 없는 성분이고 레이블 알파벳을 바꿔도 재현된다. 요청된 추론은 이러한 경로를 없애지 않고 재형성한다. 피험자가 자유 텍스트로 결정을 서술하고 별도의 모델이 이를 전사할 때, 두 판정자 계열은 공동으로 채점된 전사의 99.3%에서 일치하며 상충하는 확정 레이블은 없었고, 전사된 입장은 단계형 척도와 수렴한다(중앙값 $r=0.87$). 응답 형식은 도구의 일부이며, 판단은 그것과 분리하여 측정될 수 있다.

arXiv:2607.22305v2cs.AI공통 태그 Fairness

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2607.22149v2cs.LG공통 태그 Fairness

공정한 자기지도 학습을 위한 편향 없는 Open World 정규화

Unbiased Open World Regularization for Fair Self-Supervised Learning

최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.