arXiv:2012.00106

Towards Auditability for Fairness in Deep Learning

Ivoline C. Ngong, Krystal Maughan, Joseph P. Near

제출 2020-11-30

원문 초록

Group fairness metrics can detect when a deep learning model behaves differently for advantaged and disadvantaged groups, but even models that score well on these metrics can make blatantly unfair predictions. We present smooth prediction sensitivity, an efficiently computed measure of individual fairness for deep learning models that is inspired by ideas from interpretability in deep learning. smooth prediction sensitivity allows individual predictions to be audited for fairness. We present preliminary experimental results suggesting that smooth prediction sensitivity can help distinguish between fair and unfair predictions, and that it may be helpful in detecting blatantly unfair predictions from "group-fair" models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27144v2cs.LG공통 태그 Fairness, Sensitivity, Prediction

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2609.26652v1math.ST공통 태그 Fairness, Sensitivity

조건부 대표 모니터링 및 분류를 위한 문맥 적응형 임계값 설정

Context-Adaptive Thresholding for Conditionally Representative Monitoring and Classification

일반적으로 분류기(classifier)와 모니터링 절차는 오분류율과 같은 목적 함수를 최적화(optimization)하여 레이블이 지정된 데이터로부터 학습(training)됩니다. 이는 중요한 외생 변수가 주어졌을 때 결과(레이블)의 조건부 분포가 모집단의 조건부 법칙과 달라져 비대표적인(unrepresentative) 조건부 분포를 초래할 수 있습니다. 본 연구에서는 오경보율(false alarm rate)을 유지하면서 민감도(sensitivity)를 분배하기 위해 공변량 $Z$(문맥)에 맞춰 임계값을 적응시킴으로써, 임의의 주어진 임계값 형태 분류기 및 모니터링 규칙을 수정하여 대표성 있는 조건부 레이블 예측을 달성하는 방법을 제시합니다. 경보 이벤트가 알려지지 않은 경우, 이 접근법은 임계값 설정 규칙 관점에서 해당 이벤트를 (근사적으로) 추론(inference)할 수도 있게 합니다. 이 접근법은 계산 비용이 저렴한 비모수적 추정 절차를 통해 구현되며, 그 특성은 경험적 과정 이론(empirical process theory)을 포함한 점근적 분포 이론 및 비점근적 오차 한계 관점에서 연구됩니다. 이러한 결과는 균일 신뢰대(uniform confidence bands), 함수형 가설 검정 및 변화 탐지 절차의 구성을 가능하게 합니다. 해석 가능한 머신러닝에서 자주 사용되는 잘 알려진 FICOS 신용 평가 예시에서, 임계값 적응은 일반적인 분류 평가 지표 측면에서 트랜스포머(transformer)를 포함한 최신(SOTA) 방법들과 견줄 수 있는 쉽게 해석 가능한 결정 규칙으로 이어집니다.

arXiv:2607.23175v1cs.CL공통 태그 Fairness, Sensitivity

전역 규범을 넘어: 재학습 없이 언어 모델의 독성 민감도 개인화

Beyond a Global Norm: Personalizing Toxicity Sensitivity in Language Models Without Retraining

독성을 줄이는 문제는 종종 전역 정렬(alignment) 문제로 프레이밍되지만, 유해한 언어에 대한 인식은 주관적이고 문맥에 의존적이다. 우리는 사용자별 독성 민감도에 맞게 언어 생성을 정렬하기 위한 학습 없는(training-free) 방법들에 대한 최초의 비교 평가를, 세 가지 추론(inference) 시점 개입 단계—디코딩 전(프롬프트 조건화 및 재작성), 디코딩 중(토큰, 로짓, 표현 스티어링), 디코딩 후(후보 재순위화)—에 걸쳐 제시한다. PRISM 데이터셋에서 도출한 독성 민감도 목표에 대해 평가한 결과, 모든 방법이 정렬 오류를 28-47% 줄였다. 그러나 결과는 정렬 효과, 개인화, 일반적인 언어 품질 사이의 근본적인 트레이드오프를 보여 주며, 독성 민감도 정렬이 본질적으로 다목적 문제임을 드러낸다.

arXiv:2607.24187v1cs.AI공통 태그 Fairness, Prediction

근시 예방 및 관리 3.0: 인공지능 기반 위험 계층화, 선제적 모니터링 및 개인 맞춤형 개입

Myopia Prevention and Control 3.0: Artificial Intelligence--Driven Risk Stratification, Proactive Monitoring, and Personalized Intervention

인공지능(AI), 디지털 센싱, 유비쿼터스 컴퓨팅의 수렴은 근시 예방을 반응적이고 인구 기반 모델에서 선제적이고 정밀 지향적 모델로 전환할 전례 없는 기회를 만들었다. 2050년까지 전 세계 인구의 절반이 근시가 될 것이라는 증거에도 불구하고, 기존 접근법—학교 기반 시력 검사(1.0 단계)와 근거 기반 위험 요인 관리(2.0 단계)—는 불충분한 것으로 입증되었다. 우리는 세 가지 상호 연결된 영역에 걸친 AI 통합으로 정의되며 폐쇄 루프 파이프라인을 형성하는 근시 예방 및 관리 3.0의 등장을 검토한다: (1) 다중모달 데이터에 대한 머신러닝을 통해 개인 수준의 위험을 예측하는 AI 기반 위험 계층화; (2) 웨어러블, 스마트폰, 학교 검사 네트워크를 통한 AI 기반 선제적 모니터링; (3) 폐쇄 루프 피드백을 갖춘 AI 기반 개인 맞춤형 개입. 우리는 각 단계에 걸친 증거를 비판적으로 평가하고, 데이터 품질, 모델 검증, 윤리, 형평성의 과제를 논의하며, 다중모달 파운데이션 모델, 디지털 트윈, 인과 머신러닝을 포함한 향후 방향을 개괄한다.

arXiv:2607.13839v1cs.CY공통 태그 Fairness, Prediction

AI 증강 인적 자원 관리? 독일 기업으로부터의 통찰

AI-Augmented Human Resource Management? Insights from German companies

본 연구는 독일 기업에서 인적 자원 관리(Human Resource Management)에 AI를 통합하는 과정을 조사한다. AI 기반 기술이 인적 자원 관리를 실제로 어떻게, 그리고 '증강(augmenting)'하고 있는지를 묻는다. 조직은 생성형 AI(generative AI) 또는 예측 분석(predictive analytics)을 활용해 전통적인 인적 자원 기능을 변화시키고, 일상 업무를 간소화하며, 자원을 전략적이고 사람 중심의 활동으로 재배치한다. 인터뷰, 집단 토론, 설문조사(N=410)를 통해 얻은 결과는 AI 도구가 HR 분석 역량을 강화하는 한편, 도입은 주로 효율성 및 합리화(rationalising) 목표를 위해 이루어진다는 점을 보여준다. AI 도구의 도입은 디지털 인프라, 공동결정(co-determination) 체계, 윤리적 함의와 같은 조직 변혁 요인에 의해 형성된다. 본 연구는 인재 개발 개선을 위한 전략적 잠재력과 데이터 거버넌스(data governance) 및 알고리즘 투명성(algorithmic transparency)이 제기하는 과제를 모두 조명한다. 전반적으로, 이 연구는 HR에서 기술 변화의 모호한 역할을 이해하는 데 기여하며, 예측 역량을 증강할 것을 약속하면서도 효율성과 합리화(rationalisation)의 목적에 기여한다는 점을 보여준다.

arXiv:2607.12863v1cs.SE공통 태그 Fairness, Sensitivity

트랜스포머 어텐션 헤드 내 바이어스의 위치 특정 및 수정을 향하여

Toward Localizing and Repairing Bias in Transformer Attention Heads

트랜스포머 언어 모델이 소프트웨어 구성 요소로 점점 더 많이 사용되고 있지만, 바이어스가 있는 출력은 모델 내부에서 위치를 특정하고 수정하기 어렵다. 기존 공정성 테스트 및 수정 방법은 주로 입력-출력 수준 또는 재학습(retraining) 수준에서 동작하는 반면, 최근 연구는 바이어스 관련 행동이 소수의 어텐션 헤드에 집중될 수 있음을 시사한다. 본 논문은 표적화된 추론 시점 개입을 통해 어텐션 헤드를 위치 특정하고 수정할 수 있는지를 연구한다. 우리는 공정성 프로브(fairness probes)에 대한 민감도를 사용하여 어텐션 헤드의 순위를 매기고, 선택된 헤드 출력에서 작은 바이어스 부분공간을 제거하는 화이트박스 헤드 수준 공정성 디버깅 방법인 ROBIN을 제안한다. 4개 모델 파일럿 연구에서 ROBIN은 헤드 전체 영제로(whole-head zeroing)보다 언어 모델링 품질을 더 잘 유지하면서 모든 모델에서 측정된 WinoBias 격차를 줄인다. 이러한 예비 결과는 헤드 수준 바이어스 수정이 어떤 헤드가 선택되느냐뿐만 아니라 선택된 헤드가 어떻게 수정되느냐도 고려해야 함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.