arXiv:2407.05732

FairPFN: Transformers Can do Counterfactual Fairness

Jake Robertson, Noah Hollmann, Noor Awad, Frank Hutter

제출 2024-07-08

원문 초록

Machine Learning systems are increasingly prevalent across healthcare, law enforcement, and finance but often operate on historical data, which may carry biases against certain demographic groups. Causal and counterfactual fairness provides an intuitive way to define fairness that closely aligns with legal standards. Despite its theoretical benefits, counterfactual fairness comes with several practical limitations, largely related to the reliance on domain knowledge and approximate causal discovery techniques in constructing a causal model. In this study, we take a fresh perspective on counterfactually fair prediction, building upon recent work in in context learning (ICL) and prior fitted networks (PFNs) to learn a transformer called FairPFN. This model is pretrained using synthetic fairness data to eliminate the causal effects of protected attributes directly from observational data, removing the requirement of access to the correct causal model in practice. In our experiments, we thoroughly assess the effectiveness of FairPFN in eliminating the causal impact of protected attributes on a series of synthetic case studies and real world datasets. Our findings pave the way for a new and promising research area: transformers for causal and counterfactual fairness.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27690v3cs.CL공통 태그 Fairness, counterfactual

합성 연구 검증에서의 중대한 행동과 표상적 공정성

Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research

산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.

arXiv:2610.01963v1cs.AI공통 태그 Fairness, counterfactual

임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사

Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage

응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.

arXiv:2609.27682v1cs.CV공통 태그 Fairness, In-Context Learning

비전-언어 문맥 내 학습에서의 성별 바이어스

Gender Bias in Vision-Language In-Context Learning

문맥 내 학습(ICL)은 대규모 비전-언어 모델(LVLM)이 문맥 내 예시의 패턴을 따름으로써 과제를 수행할 수 있게 하지만, 사회적 바이어스를 증폭시킬 잠재력은 아직 충분히 탐구되지 않았다. 우리는 6가지 ICL 설정, 3가지 과제, 4개 데이터셋으로 구성된 평가 프레임워크 VL-BICLE을 통해 ICL이 LVLM의 성별 바이어스에 어떤 영향을 미치는지 체계적으로 조사한다. 6개 LVLM에 대한 실험 결과, 성별이 드러난 ICL 시연이 방향성 있는 힘으로 작용하여 교차 성별 메커니즘을 통해 모델 바이어스를 시연된 성별 쪽으로 이동시키며, 반대 성별에 대한 성능을 불균형적으로 저하시킨다. 이 효과는 이미지 캡셔닝과 대명사 예측에서는 나타나지만 시각적 질의응답(VQA)에서는 나타나지 않으며, 성별이 드러난 ICL이 바이어스에 영향을 미치는 것은 과제 출력이 성별이 드러난 언어를 포함할 때에만 해당함을 시사한다. 유사도 기반 검색(retrieval) 방법은 학습 풀의 성 불균형을 그대로 물려받으며 디바이어싱 이점을 제공하지 않고, 표준 품질 지표는 이러한 바이어스 변화를 포착하지 못한다. 이 바이어스를 완화하기 위해, 캡션은 그대로 유지한 채 문맥 내 실제 이미지를 stable diffusion 모델에서 생성한 합성 이미지로 교체한다. 이 단순한 개입은 캡션 품질을 저하시키지 않고 성별 바이어스를 줄인다.

arXiv:2609.26210v1cs.CL공통 태그 Fairness, counterfactual

같은 차트, 다른 이야기: 비전-언어 차트 해석의 바이어스

Same Chart, Different Story: Bias in Vision-Language Chart Interpretation

비전-언어 모델(VLM)은 차트를 해석하고 사회적으로 중요한 데이터에 대한 자연어 설명을 생성하는 데 점점 더 많이 사용되고 있다. 그러나 참조되는 사회 집단만 바뀌었을 때 동일한 차트에 대해 서로 다른 서사를 생성할 수 있어 고정관념을 강화하고 잘못된 의사결정을 유도할 수 있다. 이러한 위험에도 불구하고, 사회적 차원에 걸친 차트 해석 바이어스를 체계적으로 평가할 벤치마크는 존재하지 않는다. 우리는 VLM 기반 차트 해석에서 바이어스를 감사하기 위한 최초의 벤치마크인 ChartBias를 제안한다. ChartBias는 인종, 소득, 연령, 종교, 이민 신분, 성별의 여섯 속성을 아우르는 820개의 수동으로 큐레이션한 실세계 차트를 포함하며, 4,319개의 유효한 차트-속성 인스턴스와 차트는 고정하고 집단 용어만 교체한 8,638개의 쌍(pair) 생성물을 산출한다. 독점 및 오픈소스 VLM 12개에 걸쳐 총 155,484개의 모델 응답을 분석한 결과, 세 가지 광범위한 실패 양상을 발견한다: 서사 전환(narrative shift, 동일 차트·상이한 서사), 집단 환각(group hallucination, 근거 없이 차트를 특정 집단에 귀속), 선호 극성(preference polarity, 유리한 추세가 한 집단에 더 자주 연결됨). 또한 차트에 근거한 증거 추출과 집단 조건 생성을 분리하고, 반사실적(counterfactual) 판정자가 집단에 따른 차이가 차트로 뒷받침되는지 검증하는 다중 에이전트 완화 프레임워크를 제안하며, 이는 강한 기준선 역할을 한다. 이 프레임워크는 차트에 근거한 추론을 유지하면서 서사 전환을 실질적으로 줄인다. 우리의 결과는 차트 이해 평가가 정확도뿐 아니라 사회 집단 간 공정성과 일관성도 측정해야 함을 보여준다. ChartBias는 https://github.com/vis-nlp/ChartBiasBench 에서 공개한다.

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2610.00224v2cs.AI공통 태그 In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.