arXiv:2402.04489

De-amplifying Bias from Differential Privacy in Language Model Fine-tuning

Sanjari Srivastava, Piotr Mardziel, Zhikhun Zhang, Archana Ahlawat, Anupam Datta, John C Mitchell

제출 2024-02-07

원문 초록

Fairness and privacy are two important values machine learning (ML) practitioners often seek to operationalize in models. Fairness aims to reduce model bias for social/demographic sub-groups. Privacy via differential privacy (DP) mechanisms, on the other hand, limits the impact of any individual's training data on the resulting model. The trade-offs between privacy and fairness goals of trustworthy ML pose a challenge to those wishing to address both. We show that DP amplifies gender, racial, and religious bias when fine-tuning large language models (LLMs), producing models more biased than ones fine-tuned without DP. We find the cause of the amplification to be a disparity in convergence of gradients across sub-groups. Through the case of binary gender bias, we demonstrate that Counterfactual Data Augmentation (CDA), a known method for addressing bias, also mitigates bias amplification by DP. As a consequence, DP and CDA together can be used to fine-tune models while maintaining both fairness and privacy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27690v3cs.CL공통 태그 Fairness, counterfactual

합성 연구 검증에서의 중대한 행동과 표상적 공정성

Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research

산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.

arXiv:2610.02542v1cs.AI공통 태그 Language Modelling, counterfactual

월드 모델을 학습시키는 방법: 언어 모델 기반 월드 모델링을 위한 미세조정 대 검색-증강 생성(RAG)

How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling

월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.

arXiv:2610.01963v1cs.AI공통 태그 Fairness, counterfactual

임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사

Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage

응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.

arXiv:2609.25853v1cs.CL공통 태그 Language Modeling, counterfactual

MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅

MemoryAthena: Adaptive Routing over Latent and Generated Memories

학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.

arXiv:2609.26210v1cs.CL공통 태그 Fairness, counterfactual

같은 차트, 다른 이야기: 비전-언어 차트 해석의 바이어스

Same Chart, Different Story: Bias in Vision-Language Chart Interpretation

비전-언어 모델(VLM)은 차트를 해석하고 사회적으로 중요한 데이터에 대한 자연어 설명을 생성하는 데 점점 더 많이 사용되고 있다. 그러나 참조되는 사회 집단만 바뀌었을 때 동일한 차트에 대해 서로 다른 서사를 생성할 수 있어 고정관념을 강화하고 잘못된 의사결정을 유도할 수 있다. 이러한 위험에도 불구하고, 사회적 차원에 걸친 차트 해석 바이어스를 체계적으로 평가할 벤치마크는 존재하지 않는다. 우리는 VLM 기반 차트 해석에서 바이어스를 감사하기 위한 최초의 벤치마크인 ChartBias를 제안한다. ChartBias는 인종, 소득, 연령, 종교, 이민 신분, 성별의 여섯 속성을 아우르는 820개의 수동으로 큐레이션한 실세계 차트를 포함하며, 4,319개의 유효한 차트-속성 인스턴스와 차트는 고정하고 집단 용어만 교체한 8,638개의 쌍(pair) 생성물을 산출한다. 독점 및 오픈소스 VLM 12개에 걸쳐 총 155,484개의 모델 응답을 분석한 결과, 세 가지 광범위한 실패 양상을 발견한다: 서사 전환(narrative shift, 동일 차트·상이한 서사), 집단 환각(group hallucination, 근거 없이 차트를 특정 집단에 귀속), 선호 극성(preference polarity, 유리한 추세가 한 집단에 더 자주 연결됨). 또한 차트에 근거한 증거 추출과 집단 조건 생성을 분리하고, 반사실적(counterfactual) 판정자가 집단에 따른 차이가 차트로 뒷받침되는지 검증하는 다중 에이전트 완화 프레임워크를 제안하며, 이는 강한 기준선 역할을 한다. 이 프레임워크는 차트에 근거한 추론을 유지하면서 서사 전환을 실질적으로 줄인다. 우리의 결과는 차트 이해 평가가 정확도뿐 아니라 사회 집단 간 공정성과 일관성도 측정해야 함을 보여준다. ChartBias는 https://github.com/vis-nlp/ChartBiasBench 에서 공개한다.

arXiv:2609.24174v1cs.AI공통 태그 Language Modeling, counterfactual

CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화

CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment

장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.