arXiv:1912.10818

Artificial mental phenomena: Psychophysics as a framework to detect perception biases in AI models

Lizhen Liang, Daniel E. Acuna

제출 2019-12-15

원문 초록

Detecting biases in artificial intelligence has become difficult because of the impenetrable nature of deep learning. The central difficulty is in relating unobservable phenomena deep inside models with observable, outside quantities that we can measure from inputs and outputs. For example, can we detect gendered perceptions of occupations (e.g., female librarian, male electrician) using questions to and answers from a word embedding-based system? Current techniques for detecting biases are often customized for a task, dataset, or method, affecting their generalization. In this work, we draw from Psychophysics in Experimental Psychology---meant to relate quantities from the real world (i.e., "Physics") into subjective measures in the mind (i.e., "Psyche")---to propose an intellectually coherent and generalizable framework to detect biases in AI. Specifically, we adapt the two-alternative forced choice task (2AFC) to estimate potential biases and the strength of those biases in black-box models. We successfully reproduce previously-known biased perceptions in word embeddings and sentiment analysis predictions. We discuss how concepts in experimental psychology can be naturally applied to understanding artificial mental phenomena, and how psychophysics can form a useful methodological foundation to study fairness in AI.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05679v1cs.CL공통 태그 Fairness, Sentiment Analysis, Word Embeddings

RPAM: 다운스트림 출력에서 높은 예측 타당도를 가진 언어 모델 연관성 평가를 위한 원칙적 지표

RPAM: A Principled Metric for Evaluating Associations in Language Models with High Predictive Validity in Downstream Outputs

언어 모델(LM)은 고정관념과 같은 문제적 편향을 나타낸다. 이러한 편향을 효과적으로 분석하고 완화하려면 기저 연관성에 대한 정확하고 범용적인 평가 방법이 필요하다. 일부 기존 접근 방식은 생성된 텍스트의 연관성을 분석하는 다운스트림 지표에 초점을 맞춘다. 생성된 텍스트 내용은 LM마다 크게 달라질 수 있기 때문에, 이러한 지표들은 종종 특화된 평가 데이터셋을 필요로 하며, 이는 다운스트림 지표의 일반화를 제한한다. 이와 대조적으로, 업스트림 지표는 임베딩(embedding)이나 연속 확률이라는 근본적인 수준에서 LM을 검토함으로써 LM 전반에 걸쳐 원칙적인 연관성 분석을 가능하게 한다. 그러나 현재까지 생성형 LM을 위한 어떠한 업스트림 지표도 생성된 텍스트에서 측정된 연관성을 포함한 실제 연관성과의 강한 관계를 밝혀내지 못했다. 이러한 간극을 해소하기 위해, 우리는 생성형 LM을 위한 연관성 평가 지표인 상대 확률 연관성 지표(RPAM, Relative Probability Association Metric)를 제안한다. 언어 생성 품질과 목적이 서로 다른 세 가지 LM(Mistral-7B-Instruct, Mistral-7B, GPT-2)과 널리 연구된 평가 데이터셋(WEAT-WS, Bellezza, WS-353, SST2)에 대해, 우리는 업스트림 RPAM 측정값과 인간에게서 관찰된 암묵적·명시적 연관성 및 LM별 태스크로 다운스트림에서 측정된 편향 사이에서 강한 관계를 발견하였으며, 해당하는 경우 기존 최고 기록값을 능가하였다.

arXiv:2609.27059v1cs.CL공통 태그 Fairness, Sentiment Analysis

일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인

The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale

본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.

arXiv:2609.27939v1cs.CL공통 태그 Fairness, Sentiment Analysis

감성 분류에서 실행 가능하고 책임 있는 피드백으로: 학생 강의 평가(SET)에서 NLP의 범위 검토 및 증거 지도, 2015–2026

From Sentiment Classification to Actionable and Responsible Feedback: A Scoping Review and Evidence Map of NLP in Student Evaluation of Teaching, 2015-2026

서술형 강의 평가 댓글(Student Evaluation of Teaching, SET)에 적용된 자연어 처리(NLP)는 어휘 사전과 기존 분류기에서 트랜스포머와 대규모 언어 모델(LLM)에 이르는 분야의 기술적 진화를 따라왔으나, 이러한 기술 다양화에 교육적 가치와 증거의 견고성에 상응하는 이득이 동반되었다는 점은 분명하지 않다. 본 범위 검토(PRISMA-ScR)는 421편의 연구(2015–2026, 2026년 부분 포함)를 기술 축(RQ1)과 네 가지 가치 차원(RQ2–RQ5)을 따라 지도한다. 이중 상호 맹검 LLM 스크리닝과 표본 추출 인간 판정으로 일곱 추출 도메인을 코딩했으며, 종합 단계에서 표적화된 코드북 경계 검토를 수행했다. 공동 지도에서 가장 뚜렷한 정량적 격차는 실행 가능성 단절(actionability discontinuity)이다: 입증된 산출 또는 그 이상(A2+: 258/421; 61.3%) 대 의도된 사용자 평가 또는 그 이상(A3+: 49/421; 11.6%), 49.7%p 하락이다. 감성 분석은 여전히 최빈 과제(300/421)이며, 진단적·생성적 깊이는 상당한 소수(D4–D5: 해결된 사례의 28.2%)이고, 공식적 공정성(fairness) 지표는 드물다(1.9%). 본 결과는 기술적 공존과 불균등한 보고가 지도의 일부이지만, A2+에서 A3+로의 절벽이 기여이지 품질 사다리가 아님을 밝힌다.

arXiv:2609.25186v1cs.CY공통 태그 Fairness, Sentiment Analysis

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2607.20461v1cs.CL공통 태그 Fairness, Sentiment Analysis

자연어에서 정서가(valence)가 도덕성을 반영할 수 있는가? 예비 주석 연구

Can Valence Reflect Morality in Natural Language? A Preliminary Annotation Study

현재 인공지능(AI) 윤리 구현은 감정, 또는 정서(affect)를 충분히 고려하지 않는다. AI가 인간 윤리와 정렬(alignment)되어야 한다면, 감정이 사람이 취하는 행동, 판단 또는 진술에 역할을 하는 덕목 있는 인간의 윤리적 행위를 반영하는 AI 행동의 가능성을 철저히 조사하는 것이 타당해 보인다. 또한 규범적 윤리의 주요 이론들이 종종 그 차이와 한계 측면에서 논의되지만, 덕 윤리, 결과주의, 칸트적 의무론 윤리는 모두 어느 정도 인간의 감정을 고려한다는 공통점을 공유하는 반면, 인기 있는 기술적 윤리 이론인 도덕 기초 이론(Moral Foundations Theory)은 많은 기초에서 감정을 핵심으로 둔다. 따라서 본 논문에서는 Commonsense Norm Bank 데이터셋의 텍스트로 제시된 시나리오에 대해 -1에서 1까지의 범위로 행동/판단 및 결과의 도덕적 정서가 모두에 대한 6명의 참가자가 수행한 500건의 주석으로 구성된 도덕 정서가 데이터셋을 제안한다. 결과적으로 얻어진 정서가 특징은 다중 분류(비도덕/재량/도덕) 및 이진 비도덕/도덕 범주와 유의미한 관계를 공유하며, 더불어 이진 분류를 위한 규제화된 로지스틱 회귀를 사용할 때 주목할 만한 테스트 세트 매튜스 상관계수(Matthew's correlation coefficient) 0.764를 제공한다. 이는 텍스트의 도덕성 추정을 위한 정서가 특징의 유용성에 대한 초기 증거를 제공하며, 타인에 대한 반응이 초래하는 정서가를 지닌 결과를 보다 인간적이고 도덕적으로 정렬된 AI를 향해 고려할 수 있음을 시사한다. 정서-도덕(affective-moral) 컴퓨팅 연구를 더욱 촉진하기 위해, 본 연구의 주석은 요청 시 연구 목적으로 제공될 예정이다.

arXiv:2607.20722v1cs.CL공통 태그 Fairness, Sentiment Analysis

REGARD: 대규모 언어 모델의 지역별 정서 차이

REGARD: Regional Affective Differences in Large Language Models

서로 다른 언어적·지역적 생태계에서 학습되고 정렬(alignment)된 대규모 언어 모델(LLM)은 동일한 정치적, 문화적, 지정학적 대상을 서로 다른 방식으로 프레이밍할 수 있다. 이러한 차이는 종종 감성(sentiment), 호감도(favorability), 또는 입장(stance)을 통해 평가되며, 모델의 태도를 단일한 긍정-부정 축으로 축소한다. 우리는 REGARD를 소개한다. 이는 목표 지향 Valence-Arousal-Dominance(VAD) 프로파일링을 사용하여 소련 이후(post-Soviet) 대상에 대한 LLM 간 정서적 프레이밍 차이를 유발하는 요인을 연구한다. 19개 모델에 500개의 지역별 대상을 질의하고, GPT-4o-mini와 Qwen3.6-35B-A3B라는 두 독립 LLM 심판으로 응답을 채점하며, 300개 항목의 인간 주석 부분집합에서 측정값을 검증한다. 정서 및 응답 행동 프로파일에 기반한 19개 모델 전체의 사후 Ward-linkage 클러스터링은 모델 출처, 계열(family), 매개변수(parameter) 수를 가로지르는 세 가지 행동 클러스터를 산출한다. 일반적 답변(generic-answer) 비율은 낮은 각성(arousal)과 강하게 연관되어 있다(r = -0.81). 클러스터 배치와도 연관된다. 평가적 프롬프트를 템플릿화된 응답으로 회피하는 모델은 출처와 관계없이 낮은 각성에서 함께 클러스터링된다. 이러한 결과는 VAD 프로파일링이 감성 기반의 기존 평가에서는 대체로 드러나지 않는 정서적 프레이밍의 한 차원인 정서적 강도(emotional intensity)를 포착함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.