Augmented Fairness: An Interpretable Model Augmenting Decision-Makers' Fairness
원문 초록
We propose a model-agnostic approach for mitigating the prediction bias of a black-box decision-maker, and in particular, a human decision-maker. Our method detects in the feature space where the black-box decision-maker is biased and replaces it with a few short decision rules, acting as a "fair surrogate". The rule-based surrogate model is trained under two objectives, predictive performance and fairness. Our model focuses on a setting that is common in practice but distinct from other literature on fairness. We only have black-box access to the model, and only a limited set of true labels can be queried under a budget constraint. We formulate a multi-objective optimization for building a surrogate model, where we simultaneously optimize for both predictive performance and bias. To train the model, we propose a novel training algorithm that combines a nondominated sorting genetic algorithm with active learning. We test our model on public datasets where we simulate various biased "black-box" classifiers (decision-makers) and apply our approach for interpretable augmented fairness.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델을 도메인 적응적·정밀·안전하게 튜터링하기
Tutoring Large Language Models to be Domain-adaptive, Precise and Safe
본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.
내적 다원주의와 쌍별 비교의 한계
Internal Pluralism and the Limits of Pairwise Comparisons
지역적 쌍별 비교(local pairwise comparison)는 참여적 설계(participatory design)나 정렬(alignment) 등에서 사람들이 의사결정 규칙이 어떻게 작동하기를 원하는지 학습하기 위한 표준적인 도구다. 그러나 이 방법의 사용은 두 가지 강한 가정을 내포한다: 지역적 비교가 자동화된 의사결정 규칙의 동작 방식에 대한 개인의 선호를 파악하기에 충분한 증거가 된다는 것과, 사람들이 항상 해당 비교에 결정적으로 답할 수 있다는 것이다. 우리는 이러한 가정들이 내적 다원주의(internal pluralism) 하에서 어떻게 훼손될 수 있는지를 탐구한다. 내적 다원주의란 개인이 규칙이 어떻게 동작해야 하는지에 대한 복수의 권위 있는 우선순위에 따라 의사결정 규칙을 평가한다는 개념이다. 우리는 의사결정 규칙에 대한 이러한 다원적 선호의 형식적 모델을 제시하고, 이를 통해 강제적 지역적 쌍별 비교 데이터의 두 가지 명확한 실패 유형을 규명한다. 첫째, 비례성(proportionality), 평등주의(egalitarianism), 동등 처우(equal treatment)와 같은 우선순위는 본질적으로 전역적(global)이다: 한 사례에서 이들이 함의하는 바는 다른 곳에서 일어나는 일에 따라 달라질 수 있으므로, 지역적 비교로는 이를 포착하지 못할 수 있다. 둘째, 우선순위가 지역적으로 표현 가능한 경우에도, 강하게 견지되는 우선순위들 사이의 긴장이 내적 갈등을 야기하여, 비교가 강제될 때 잠재적으로 비용이 큰 행동 왜곡을 초래할 수 있다. 이어서 우리는 대안, 즉 사람들이 결정 불능(indecision)을 보고하도록 허용하는 방안을 우리의 모델을 통해 탐구하며, 그 결과 이러한 방식이 선호를 정확하게 학습하는 데 필요한 질의(query) 수를 상당히 줄일 수 있음을 시사한다. 마지막으로, 우리의 모델이 이러한 우선순위를 직접 도출하는 선호 학습(preference-learning) 방법을 어떻게 지향하는지를 설명하며, 이를 통해 사람들이 가치 있게 여기는 것에 대한 보다 충실하고 해석 가능한 설명을 도출할 수 있음을 논의한다.
개인화된 인과적 교정: 인간 참여형 접근법
Personalized Causal Recourse: A Human-In-The-Loop Approach
알고리즘 교정(algorithmic recourse)은 잠재적으로 고위험 상황에서 불리한 머신러닝 의사결정에 영향을 받은 사용자에게 맞춤형 권고를 제공하는 과제를 다룬다. 교정에 대한 기존 접근법은 흔히 최근접 반사실적(counterfactual) 설명에 의존하거나 사용자의 인과 구조에 대한 사전 지식을 가정함으로써, 개별 맥락과 특징(feature) 간 상호작용을 간과하는 개입을 야기한다. 이러한 한계를 극복하기 위해, 우리는 교정 권고를 생성하기 전에 베이지안 추론(Bayesian inference)을 통한 대화형 쿼리로 사용자의 구조적 인과 모델(structural causal model)을 반복적으로 근사하는 인간 참여형(human-in-the-loop) 프레임워크를 연구한다. 이 프레임워크는 인간의 피드백을 활용하여 인과 효과의 식별을 개선함으로써, 각 사용자의 실제 인과 의존성에 부합하는 타당하고 비용 효율적인 개인화된 교정을 가능하게 한다. 개념 증명으로서, 우리는 시뮬레이션된 인간 응답을 통해 이 프레임워크를 평가한다. 선형 및 비선형 인과 모델에 걸친 시뮬레이션은 유망한 결과를 보여주지만, 복잡한 비선형 구조를 포착하는 데 어려움이 남아 있어 정확한 근사와 강건한 노이즈 분포 모델링의 중요성을 강조한다.
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
토론
이 논문과 연결된 포럼 글이 아직 없습니다.