arXiv:2402.12649

Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation

Kristian Lum, Jacy Reese Anthis, Kevin Robinson, Chirag Nagpal, Alexander D'Amour

제출 2024-02-20

원문 초록

Standard benchmarks of bias and fairness in large language models (LLMs) measure the association between the user attributes stated or implied by a prompt and the LLM's short text response, but human-AI interaction increasingly requires long-form and context-specific system output to solve real-world tasks. In the commonly studied domain of gender-occupation bias, we test whether these benchmarks are robust to lengthening the LLM responses as a measure of Realistic Use and Tangible Effects (i.e., RUTEd evaluations). From the current literature, we adapt three standard bias metrics (neutrality, skew, and stereotype) and develop analogous RUTEd evaluations from three contexts of real-world use: children's bedtime stories, user personas, and English language learning exercises. We find that standard bias metrics have no significant correlation with the more realistic bias metrics. For example, selecting the least biased model based on the standard "trick tests" coincides with selecting the least biased model as measured in more realistic use no more than random chance. We suggest that there is not yet evidence to justify standard benchmarks as reliable proxies of real-world AI biases, and we encourage further development of evaluations grounded in particular contexts.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25186v1cs.CY공통 태그 Fairness, Text Generation

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2609.23071v1cs.AI공통 태그 Fairness, Text Generation

대규모 언어 모델을 도메인 적응적·정밀·안전하게 튜터링하기

Tutoring Large Language Models to be Domain-adaptive, Precise and Safe

본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.

arXiv:2607.23083v1cs.CL공통 태그 Fairness, Text Generation

성별 포용적 재작성을 위한 LoRA 및 반서사 생성을 위한 활성화 조향

LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation

성별 포용적 언어 생성은 의미와 문맥적 일관성을 유지하면서 편향된 텍스트를 포용적 대안으로 변환하는 것을 목표로 한다. 본 논문은 LT-EDI 2026 공유 과제를 위한 IHLC 시스템을 제시하며, 성별 포용적 재작성과 반서사 생성을 모두 다룬다. 성별 포용적 재작성을 위해 매개변수 효율적인 Low-Rank Adaptation(LoRA) 미세조정을 사용하여 공식 점수 80.00%를 달성했다. 우리의 주요 기여는 반서사 생성을 위한 연산 효율적인 추론 시점 표현 공학(representation engineering) 접근법이다. 대조적 은닉 상태(hidden-state) 활성화로부터 주성분 분석(PCA)을 사용해 주요 조향 방향을 도출하고, 추론 중 Gemma-3-4B-it의 중간 표현에 이를 주입하여 모델 가중치를 수정하지 않고도 포용적 응답을 향한 행동 조향을 가능하게 한다. 제약 프롬프팅(constrained prompting)과 결합하면 이 접근법은 정중하고 문맥에 적절한 반서사를 생성하며, 공식 점수 78.12%를 달성한다. 또한 조향 행동에 대한 수동 분석을 제시하며, 의미 표류(semantic drift), 잔존 바이어스 누출, 층 민감도, 과도 조향(over-steering), 텍스트 퇴화(text degeneration) 등 주요 실패 모드를 식별한다. 우리의 결과는 제어 가능하고 사회적으로 정렬된 언어 생성을 위한 매개변수 업데이트의 경량 대안으로서 활성화 조향(activation steering)의 실용적 잠재력과 현재 한계를 모두 강조한다.

arXiv:2607.23175v1cs.CL공통 태그 Fairness, Text Generation

전역 규범을 넘어: 재학습 없이 언어 모델의 독성 민감도 개인화

Beyond a Global Norm: Personalizing Toxicity Sensitivity in Language Models Without Retraining

독성을 줄이는 문제는 종종 전역 정렬(alignment) 문제로 프레이밍되지만, 유해한 언어에 대한 인식은 주관적이고 문맥에 의존적이다. 우리는 사용자별 독성 민감도에 맞게 언어 생성을 정렬하기 위한 학습 없는(training-free) 방법들에 대한 최초의 비교 평가를, 세 가지 추론(inference) 시점 개입 단계—디코딩 전(프롬프트 조건화 및 재작성), 디코딩 중(토큰, 로짓, 표현 스티어링), 디코딩 후(후보 재순위화)—에 걸쳐 제시한다. PRISM 데이터셋에서 도출한 독성 민감도 목표에 대해 평가한 결과, 모든 방법이 정렬 오류를 28-47% 줄였다. 그러나 결과는 정렬 효과, 개인화, 일반적인 언어 품질 사이의 근본적인 트레이드오프를 보여 주며, 독성 민감도 정렬이 본질적으로 다목적 문제임을 드러낸다.

arXiv:2607.21063v1cs.CL공통 태그 Fairness, Text Generation

QuantiBias: LLM에서 양자화로 유발되는 바이어스 벤치마킹

QuantiBias: Benchmarking Quantization-Induced Bias in LLMs

넓은 사용자층에 도달하는 거의 모든 대규모 언어 모델(LLM)은 양자화된다: 전체 정밀도로 학습한 뒤 효율성을 위해 압축된다. 이 단계는 무해하다고 가정되며, 안전성(safety)은 거의 재검증되지 않는다. 우리는 그 주요 부작용이 표준 안전성 평가가 놓치는 바이어스 증가임을 발견한다. 모델, 그 학습, 프롬프트(prompt)를 고정한 상태에서, 양자화된 모델은 여전히 유해한 요청을 거부하고, 무해한 프롬프트에 과도하게 거부하지 않으며, 편향 없는 객관식 답을 여전히 선택한다. 그러나 개방형(open-ended) 질문을 받으면, 동일한 모델은 우리가 조사한 8개 언어 모두에서 고정관념(stereotype)을 자발적으로 드러내며, 독립적 심사(judge) 하에서 개방형 답변 중 대략 4분의 1(압축 단계 전반에서 ~24%에서 ~27%)에서 그렇다: 모든 표준 검사를 통과하면서도 사용자에게 측정 가능하게 더 편향된 상태로 도달한다. 이 선택적 격차(selective gap)는 견고한 발견이다; 개방형 바이어스가 압축과 함께 더 증가하는지는 덜 확실하며, 이를 채점하는 심사에 민감하다. 우리는 생성적·다국어 고정관념 탐침과 개방형 생성을 분리하는 거부 및 객관식 통제, 추론(inference) 유무에 따른 각 빌드 대비, 생성 내용의 심각도 평가를 결합한 벤치마크 QuantiBias로 두 가지를 모두 다룬다. Qwen과 Gemma 두 백본 모델, 5개 계열 스크리닝, 8개 벤치마크에 걸쳐, 양자화기(quantizer)는 바이어스 방지 신호가 없는 역량(capability) 데이터에 따라 추가 정밀도를 배분하며, 답변 전 추론은 일부 계열에서는 효과를 대략 절반으로 줄이지만 다른 계열에서는 아무 효과가 없다. 양자화된 빌드는 이미 통과하는 단문형 안전장치뿐 아니라 개방형 바이어스에 대해서도 재평가되어야 한다.

arXiv:2607.15146v1cs.CL공통 태그 Fairness, Text Generation

Grokipedia vs Wikipedia: 이념 차원에 따른 정치적 중립성에 대한 LLM 기반 감사

Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

온라인 백과사전은 정치적 여론을, 그리고 이를 통해 민주주의적 담론을 형성한다. 2025년 말, LLM Grok이 전적으로 집필한 백과사전 Grokipedia가 출시되었다. 이 프로젝트의 동기 중 하나는 "좌파" 및 "자유주의" 바이어스 혐의를 받아온 Wikipedia에 대한 편향 없는 대안을 제공하는 것이었다. 그러나 LLM이 작성한 백과사전이 더 큰 중립성을 제공하는 것인가, 아니면 단순히 다른 이념을 내재하는 것인가? 우리는 Grokipedia와 Wikipedia에 대한 대규모 정치적 바이어스 연구를 수행하여, 정부 구성원을 설명하는 1,394개의 기사 쌍을 Grok, Claude, Mistral, DeepSeek의 네 LLM 심사관(judge)을 사용해 전문가가 코딩한 9개 이념 차원에서 중립성을 분석한다. LLM 자체가 바이어스를 가질 수 있으므로, 우리는 그들의 판정 패턴도 조사한다. Grok을 포함한 모든 LLM 심사관이 Grokipedia를 Wikipedia보다 덜 중립적으로 평가하는 것으로 나타났다. 두 백과사전 모두 전반적으로 정치인을 우호적으로 묘사하는 것으로 평가되지만, 서로 다른 이념 집단에 대해 그러하다. Grokipedia는 특히 경제적으로 우파인 정치인을 선호하고 사회적으로 자유주의적인 정치인을 불리하게 평가하는 반면, Wikipedia는 후자에 대해 우호적 바이어스가 있는 것으로 평가된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.