Unmasking Nationality Bias: A Study of Human Perception of Nationalities in AI-Generated Articles
원문 초록
We investigate the potential for nationality biases in natural language processing (NLP) models using human evaluation methods. Biased NLP models can perpetuate stereotypes and lead to algorithmic discrimination, posing a significant challenge to the fairness and justice of AI systems. Our study employs a two-step mixed-methods approach that includes both quantitative and qualitative analysis to identify and understand the impact of nationality bias in a text generation model. Through our human-centered quantitative analysis, we measure the extent of nationality bias in articles generated by AI sources. We then conduct open-ended interviews with participants, performing qualitative coding and thematic analysis to understand the implications of these biases on human readers. Our findings reveal that biased NLP models tend to replicate and amplify existing societal biases, which can translate to harm if used in a sociotechnical setting. The qualitative analysis from our interviews offers insights into the experience readers have when encountering such articles, highlighting the potential to shift a reader's perception of a country. These findings emphasize the critical role of public perception in shaping AI's impact on society and the need to correct biases in AI systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
지속적 문서 작성을 위한 지식 풀 리퀘스트(Knowledge Pull Requests)
Knowledge Pull Requests for Continual Document Authoring
우리는 각 변경 사항을 해석 가능하게 만드는 지속적 문서 작성(continual document authoring) 프레임워크인 지식 풀 리퀘스트(Knowledge Pull Requests, KPR)를 소개한다. 문서는 다른 출처, 언어 또는 시점에서 새로운 지식이 나타남에 따라 지속적인 수정이 필요하지만, 기존 접근법은 어떤 지식이 바뀌었는지에 대한 설명 없이 편집하거나 처음부터 다시 생성한다. KPR은 주장(claim)을 추출하고, 이를 필터링하여 각 섹션으로 라우팅하며, 기존 내용과의 충돌을 표시함으로써 새로운 지식을 문서에 통합한다. 그 결과 어떤 지식이 바뀌는지(주장 제안)와 텍스트가 어떻게 바뀌는지(문서 diff)를 분리하는 ChangeLog를 생성한다. 우리는 언어 간 위키백과(Wikipedia) 수정과 RAGTIME에서의 쿼리 기반 보고서 업데이트를 통해 KPR을 평가한다. KPR은 출처로부터 다시 작성하거나 처음부터 다시 생성하는 방식보다 더 많은 정보를 통합하고 기존 내용을 더 잘 보존하며, 생성된 토큰당 추가되는 정보량은 가장 많다. 또한 KPR로 수정된 문서는 검색을 사용하는 최첨단 모델(frontier model)보다 질의응답의 그라운딩(grounding)을 더 잘 수행하는데, 검색을 사용하는 최첨단 모델은 다른 언어로만 기록된 지식을 찾아내지 못한다.
대규모 언어 모델을 도메인 적응적·정밀·안전하게 튜터링하기
Tutoring Large Language Models to be Domain-adaptive, Precise and Safe
본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.
성별 포용적 재작성을 위한 LoRA 및 반서사 생성을 위한 활성화 조향
LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation
성별 포용적 언어 생성은 의미와 문맥적 일관성을 유지하면서 편향된 텍스트를 포용적 대안으로 변환하는 것을 목표로 한다. 본 논문은 LT-EDI 2026 공유 과제를 위한 IHLC 시스템을 제시하며, 성별 포용적 재작성과 반서사 생성을 모두 다룬다. 성별 포용적 재작성을 위해 매개변수 효율적인 Low-Rank Adaptation(LoRA) 미세조정을 사용하여 공식 점수 80.00%를 달성했다. 우리의 주요 기여는 반서사 생성을 위한 연산 효율적인 추론 시점 표현 공학(representation engineering) 접근법이다. 대조적 은닉 상태(hidden-state) 활성화로부터 주성분 분석(PCA)을 사용해 주요 조향 방향을 도출하고, 추론 중 Gemma-3-4B-it의 중간 표현에 이를 주입하여 모델 가중치를 수정하지 않고도 포용적 응답을 향한 행동 조향을 가능하게 한다. 제약 프롬프팅(constrained prompting)과 결합하면 이 접근법은 정중하고 문맥에 적절한 반서사를 생성하며, 공식 점수 78.12%를 달성한다. 또한 조향 행동에 대한 수동 분석을 제시하며, 의미 표류(semantic drift), 잔존 바이어스 누출, 층 민감도, 과도 조향(over-steering), 텍스트 퇴화(text degeneration) 등 주요 실패 모드를 식별한다. 우리의 결과는 제어 가능하고 사회적으로 정렬된 언어 생성을 위한 매개변수 업데이트의 경량 대안으로서 활성화 조향(activation steering)의 실용적 잠재력과 현재 한계를 모두 강조한다.
「정보 시스템을 위한 언어 이론의 함의」에 관한 Kalle Lyytinen 인터뷰
Interview with Kalle Lyytinen on "Implications of Theories of Language for Information Systems"
MIS Quarterly에 「정보 시스템을 위한 언어 이론의 함의」가 최초 발표된 지 40년이 넘은 후, Lyytinen은 자신의 논문의 기원과 지난 수십 년간 이 연구 분야의 발전을 되돌아본다. 본 인터뷰에서 Lyytinen은 정보 시스템의 언어학적 핵심을, 특히 대규모 언어 모델(LLM)과 생성형 AI와 관련된 최근 동향과 발전을 고려하여 논의한다. 정보 시스템(IS) 연구에 대한 언어학적 관점을 따르는 향후 연구 방향이 제시된다.
전역 규범을 넘어: 재학습 없이 언어 모델의 독성 민감도 개인화
Beyond a Global Norm: Personalizing Toxicity Sensitivity in Language Models Without Retraining
독성을 줄이는 문제는 종종 전역 정렬(alignment) 문제로 프레이밍되지만, 유해한 언어에 대한 인식은 주관적이고 문맥에 의존적이다. 우리는 사용자별 독성 민감도에 맞게 언어 생성을 정렬하기 위한 학습 없는(training-free) 방법들에 대한 최초의 비교 평가를, 세 가지 추론(inference) 시점 개입 단계—디코딩 전(프롬프트 조건화 및 재작성), 디코딩 중(토큰, 로짓, 표현 스티어링), 디코딩 후(후보 재순위화)—에 걸쳐 제시한다. PRISM 데이터셋에서 도출한 독성 민감도 목표에 대해 평가한 결과, 모든 방법이 정렬 오류를 28-47% 줄였다. 그러나 결과는 정렬 효과, 개인화, 일반적인 언어 품질 사이의 근본적인 트레이드오프를 보여 주며, 독성 민감도 정렬이 본질적으로 다목적 문제임을 드러낸다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.