arXiv:2611.21376v1 cs.CY

LLM 기반 에이전트의 암묵적 편향에 대한 크라우드 감사 아틀라스

A Crowd-Audited Atlas of Implicit Bias in LLM-Powered Agents

Jason Alexander, Yuxuan Li, Michael Licamele, Wesley Hanwen Deng, Sauvik Das

제출 2026-11-16

저자 비고

arXiv Comments

Preprint. 32 pages, 5 figures

한국어 초록

선행 연구는 대규모 언어 모델(LLM)이 채용이나 지능 평가처럼 주목도가 높은 일회성 의사결정 상황에서 암묵적 편향을 드러낸다는 점을 보여 왔다. 그러나 사람들이 일상적인 업무에서 자신을 대신해 결정을 내리는 자율적 LLM 기반 AI 에이전트를 점점 더 많이 사용함에 따라, 사회인구학적 가정에 기반한 암묵적 편향이 폭넓은 일상 의사결정 상황 전반에서 어떻게 나타나는지 이해하는 것이 매우 중요하다. 우리는 미국 시간 사용 조사(ATUS)의 일상 활동 17개 영역을 사용하여, 서로 다른 인종, 성 정체성, 정치 이념을 나타내는 페르소나를 부여한 LLM이 유의미한 암묵적 편향을 드러낸 506개 의사결정 시나리오의 아틀라스를 생성했다. 이어 크라우드소싱 감사에서 참가자 500명이 어떤 암묵적 편향 의사결정 시나리오를 더 검토해야 하는지에 대해 8,010건의 이진 선택을 했다. 참가자들은 폭넓은 관련성이 있는 시나리오(예: 음식 선택), 위험도가 높은 시나리오(예: 건강), 그리고 모의된 사회인구학적 집단의 모든 구성원이 만장일치로 결정을 내린 시나리오(고정관념의 명확한 징후이기 때문)를 우선시했다. 관찰된 격차의 크기나 시나리오가 나타내는 구체적인 ATUS 영역에는 덜 영향을 받았다. 우선순위 선택의 근거를 살펴보았을 때, 참가자들은 종종 격차를 인구집단의 특성으로 해석하고 그 특성이 그럴듯해 보이는지를 판단했으며, 이는 흔히 자신이 내면화한 고정관념에 기반했다. 개인화된 AI 에이전트, 디지털 트윈, 사회 시뮬레이션, 그리고 크라우드소싱 편향 감사의 활용에 대한 시사점을 논의한다.

원문 초록

Prior work has shown that large language models (LLMs) express implicit biases in high-publicity, one-off decision scenarios such as hiring and intelligence assessment. However, as people increasingly employ autonomous, LLM-powered AI agents that make decisions on their behalf in doing day-to-day tasks, it is of critical importance that we understand how implicit biases, based on sociodemographic assumptions, emerge across a broad milieu of workaday decision scenarios. We used the 17 domains of daily activity in the American Time Use Survey (ATUS) to generate an atlas of 506 decision scenarios in which LLMs --- endowed with personas representing different races, gender identities, and political ideologies --- expressed significant implicit bias. Next, in a crowdsourced audit, 500 participants made 8,010 binary choices about which implicitly biased decision scenarios most deserved further review. We found that participants prioritized decision scenarios that had broad relevance (e.g., about food choices), were high stakes (e.g., about health), and where all members of a simulated sociodemographic group made unanimous decisions (because it was a clear indication of stereotyping). They were less swayed by the magnitude of an observed disparity or the specific ATUS domain the decision scenario represented. When examining the rationale behind their prioritization choices, we found that participants often interpreted disparities as traits of demographic groups and judged whether those traits seemed plausible, often based on their own internalized stereotypes. We discuss implications for building personalized AI agents, digital twins, social simulations, and for using crowdsourced bias audits.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21376v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.