arXiv:2501.02211v3 cs.CV

How Robust Is Homogeneity Bias in LLMs? Evidence Across Models, Decoding Settings, and Identity Signals

Messi H. J. Lee

제출 2025-01-04

원문 초록

Large language models (LLMs) reproduce homogeneity bias -- the tendency to portray marginalized groups as more internally similar than dominant groups -- but whether this bias generalizes across models, is stable under different inference settings, or depends on how group identity is signaled remains unstudied. We map homogeneity bias across seven open-weight instruction-tuned LLMs (7-20B parameters), a 5x5 temperature x top-p decoding grid, and two paradigms for signaling group identity (explicit labels vs. racially distinctive names). In six of seven models, Hispanic and Asian Americans are portrayed as significantly more homogeneous than White Americans at the default configuration, and the effect remains positive on average at every temperature and top-p tested; African American and gender bias instead vary in direction across models. A conservative cell-level re-analysis confirms Hispanic and Asian homogeneity as robust while weaker African American and gender signals largely do not survive, establishing group-specific robustness. We also apply the same grid to a names-based paradigm in which group identity is signaled via racially distinctive surnames rather than explicit labels. The names paradigm corroborates Hispanic and Asian homogeneity bias, but Black-coded surnames elicit robustly less homogeneous outputs than White-coded names in every model tested -- a reversal absent from the label paradigm -- showing that how group identity is operationalized shapes which biases surface and in which direction.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2501.02211v3제출 시각 미확인
  2. arXiv:2501.02211v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01382v1cs.AI공통 태그 Diversity, Text Generation, Large Language Model

가차 디코딩: 지시 준수를 통한 다양한 생성 도출

Gacha Decoding: Eliciting Diverse Generations Through Instruction Following

본 논문에서는 모델 성능에 비례하여 확장되며 다양한 언어 모델 생성을 도출하는 추론 시점(inference-time) 방법인 가차 디코딩(Gacha Decoding)을 소개합니다. 개방형 도메인(실제 대화, 창작 글쓰기, 이미지 생성을 위한 계획 수립, 단백질 설계) 전반에서, Gacha Decoding은 동일한 품질 조건 하에서 기존의 생성 다양성 접근법들을 크게 능가하며(차순위 기존 접근법 대비 최대 2.4배 높은 Vendi 점수 달성), 10배 이상 적은 샘플 수(11.0배)로도 동일한 수의 고품질 모드를 확보하고 기존의 어떤 접근법으로도 드러나지 않았던 새로운 모드를 발견합니다. 본 연구의 핵심 통찰은 다양성을 지시 준수(instruction-following) 문제로 다루는 데 있습니다. 즉, 언어 모델의 토큰 엔트로피에만 의존하는 대신 모델의 지시 준수 능력과 외부 난수 생성기(RNG) 도구의 무작위성을 결합하여 응답 공간의 구별되는 모드들을 확장 가능한 방식으로 식별하고 구현합니다. 이러한 '주사위 기반 계획 수립(planning with dice)' 접근 방식을 통해 Gacha는 다양성과 모델 성능 간에 오랫동안 관찰되어 온 긴장 관계를 반전시킬 수 있었습니다. 기반 언어 모델의 지시 준수 능력이 향상될수록, 기존 접근법 하에서는 토큰 엔트로피와 다양성이 감소하더라도 Gacha Decoding 하에서의 다양성은 일관되게 향상됩니다. 종합적으로, 본 결과는 토큰 엔트로피 단독보다는 지시 준수가 생성 다양성을 견인할 수 있음을 강조합니다.

arXiv:2610.10650v1cs.CL공통 태그 Text Generation, Large Language Model

대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구

Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System

공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.

arXiv:2610.02303v1cs.LG공통 태그 Fairness, Large Language Model

PowerBench: 권력 이동 요청에서 언어 모델의 바이어스 측정

PowerBench: Measuring Language Model Bias in Power-shifting Requests

언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.

arXiv:2610.02614v1cs.LG공통 태그 Diversity, Large Language Model

사후 학습에서 무엇이 사라지는가? 기본값 붕괴와 다양한 관점에 걸친 문맥 내 조정 가능성의 상실

What Is Lost in Post-Training? Default Collapse and the Loss of In-Context Steerability Across Diverse Perspectives

이질적인 사용자 집단을 대상으로 하는 AI 모델은 각 사용자와 맥락에 적합한 원칙에 따라 행동해야 한다. 사후 학습(post-training)이 대규모 언어 모델(LLM)이 표현하는 관점의 폭을 좁힌다는 것은 이미 밝혀졌지만, 기존 연구는 문맥 정보에 적응하는 능력보다는 기본 행동(default behavior)에 초점을 맞춰왔다. 우리는 사후 학습이 모델을 학습 과정에서 선호하도록 학습되지 않은 관점으로 문맥 내에서(in-context) 조정하는 능력 또한 저하시킨다는 것을 보인다. 통제된 실험에서, 우리는 모델을 문화적 가치 불일치의 한쪽 입장으로 파인튜닝(fine-tuning)하고 학습 전 과정에 걸쳐 체크포인트를 평가한다. 일반적인 사용 환경에서는 학습된 입장이 점점 더 우세해지는 반면, 반대 관점을 인식하고 충실하게 구현하는 능력은 저하된다. 이러한 결과는 단일한 가치 집합을 우선시하는 것과 다양한 이해관계자에게 서비스를 제공하는 데 필요한 기술적 역량을 보존하는 것 사이의 긴장 관계를 시사한다. 마지막으로, 우리는 표현된 관점에 대해 미리 정해진 분포를 따르는 제약 하에서 보상(reward)을 최대화하는 대안적 목적 함수를 제안 및 분석하고, 이를 실용적으로 구현한 방법으로서 입장 분포 매칭(stance-distribution matching)을 제시한다.

arXiv:2610.00061v1cs.AI공통 태그 Text Generation, Large Language Model

개인화된 선호도 최적화를 위한 그래디언트 정렬 쌍 선택

Gradient-Aligned Pair Selection for Personalized Preference Optimization

대규모 언어 모델(LLM)을 개인화하려면 생성 동작을 전체적인 평균 품질이 아닌 사용자별 선호도에 정렬(alignment)시켜야 합니다. 직접 선호 최적화(DPO)는 선호도 학습을 위한 안정적인 프레임워크를 제공하지만, 개인화된 환경에서의 효과는 선호도 쌍을 어떻게 선택하느냐에 크게 의존합니다. 기존 접근 방식은 일반적으로 가능도(likelihood) 기반 극단값과 같은 휴리스틱 기준에 의존하므로, 최적화가 명시적인 사용자 효용과 분리되어 개인화 성능 저하로 이어질 수 있습니다. 본 연구에서는 기대 사용자 효용의 그래디언트와 DPO 업데이트 방향 간의 1차 상호작용을 분석하여, 개인화된 선호도 학습을 기하학적으로 정렬된 최적화 문제로 공식화합니다. 분석 결과, 오프-정책(off-policy) 샘플링 하에서 선호도 마진이 효용 그래디언트와 방향적으로 정렬될 때 DPO 업데이트가 순수한 오류 수정 신호에서 강화 형태의 업데이트로 전환됨을 확인했습니다. 이러한 관점은 쌍 선택이 선호도 최적화가 개인화를 촉진하는지 저해하는지를 좌우하는 기하학적 결정임을 보여줍니다. 이러한 통찰을 바탕으로, 에포크(epoch)별 재생성을 통해 분포 변화를 제어하면서 효용을 인지하고 기하학적으로 정렬된 쌍 선택을 수행하는 반복 알고리즘인 GAP-DPO(Geometry-Aligned Preference DPO)를 제안합니다. 개인화된 텍스트 생성 벤치마크에 대한 실험은 GAP-DPO가 표준 DPO 변형들과 비교하여 문체 충실도, 선호도 정렬 및 생성 품질을 지속적으로 향상함을 보여줍니다. 종합적으로 본 연구의 결과는 그래디언트 정렬을 개인화된 선호도 최적화를 위한 통합 원리로 확립하며, 쌍 선택이 휴리스틱 전처리 단계가 아니라 최적화 기하학의 본질적인 구성 요소임을 입증합니다.

arXiv:2610.01000v1cs.AI공통 태그 Diversity, Large Language Model

LLM이 생성한 선호도 분포 평가

Evaluating LLM-Generated Preference Distributions

대규모 언어 모델(LLM)은 실제 데이터를 얻기 어려운 환경에서 시뮬레이션, 합성 데이터 생성, 의사결정 지원을 위한 확률론적 생성기로 점차 널리 활용되고 있습니다. 그러나 이들 모델이 생성하는 분포의 구조와 신뢰성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 항공 여행, 음식점, 소비자 제품에 대해 LLM이 생성한 선호도 분포를 체계적으로 분석합니다. 고무적으로도 분석 대상이 된 모든 모델은 자기 일관성(self-coherence)을 보였으며, 반복적인 샘플링 환경에서도 가장 확률이 높은 결과가 빠르게 안정화되었습니다. 동시에 모델 패밀리와 스케일 전반에 걸쳐 상당한 불일치가 관찰되었으며, 가장 확률이 높은 결과 사이에서도 일치도가 거의 나타나지 않았습니다. 이러한 패턴은 9개의 오픈 가중치(open-weight) 모델과 3개의 선택 영역 전반에서 일관되게 나타났으며, 온도(temperature) 변화, 탐욕적 디코딩(greedy decoding), 프롬프트 및 순서의 변형(perturbation)에 대해서도 강건함을 보였습니다. 우리의 연구 결과는 결과물이 프롬프트의 문구보다 모델 선택에 더 큰 영향을 받는다는 점을 시사하며, 충분한 역량을 갖춘 LLM을 설문 응답자의 대리인으로 활용할 때 유사한 선호도 분포를 생성할 것이라는 일반적인 가정에 의문을 제기합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.