arXiv:2205.08383

Bias and Fairness on Multimodal Emotion Detection Algorithms

Matheus Schmitz, Rehan Ahmed, Jimi Cao

제출 2022-05-11

원문 초록

Numerous studies have shown that machine learning algorithms can latch onto protected attributes such as race and gender and generate predictions that systematically discriminate against one or more groups. To date the majority of bias and fairness research has been on unimodal models. In this work, we explore the biases that exist in emotion recognition systems in relationship to the modalities utilized, and study how multimodal approaches affect system bias and fairness. We consider audio, text, and video modalities, as well as all possible multimodal combinations of those, and find that text alone has the least bias, and accounts for the majority of the models' performances, raising doubts about the worthiness of multimodal emotion recognition systems when bias and fairness are desired alongside model performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03016v1cs.MM공통 태그 Emotion Recognition, Multimodal Emotion Recognition

표현에서 반응으로: 대화 상대방 감정 인식을 위한 역할 인지 시각 전이 및 자극 유도 추론

From Expression to Reaction: Role-aware Visual Transfer and Stimulus-guided Reasoning for Interlocutor Emotion Recognition

본 논문에서는 청자 전용 비디오와 화자 전용 오디오로부터 청자의 감정을 예측하는 대화 상대방 감정 인식을 위한 역할 인지 자극 유도(RASG, Role-aware Stimulus-guided) 프레임워크를 제안합니다. RASG는 역할 인지 시각 전이(RVT) 및 자극 유도 경계 추론(SBR) 모듈로 구성되며, 이들은 각각 라벨이 지정된 청자 데이터 부족으로 인한 지도(supervision) 불일치 문제와 화자의 맥락에 따라 해석이 달라지는 시각적으로 유사한 청자 반응 간의 모호성을 해결합니다. 구체적으로 RVT는 얼굴 표정이 감정 라벨을 뒷받침하는 화자 샘플을 선별합니다. 그런 다음 청자 트랙을 필터링하고 신뢰할 수 있는 의사 라벨(pseudo-label)을 활용하여 청자 중심의 시각 전문가 모델을 학습(training)합니다. SBR은 시각 모델이 불확실할 때만 2-클래스 언어 추론기를 사용합니다. 이는 화자의 오디오와 텍스트를 직접적인 감정 증거가 아닌 맥락으로 취급하여 유사한 청자 반응을 구분합니다. MER-Cross 데이터셋에서 수행된 실험에 따르면, RASG는 MER-Cross에서 76.25\%를 달성하고 기준선의 성능을 17\% 이상 향상시킵니다. 본 연구팀은 ACM MM 2026의 MER Grand Challenge 트랙 1(MER-Cross)에서 2위를 차지했습니다.

arXiv:2609.27059v1cs.CL공통 태그 Fairness, Emotion Recognition

일리노이 사회적 태도 종합 말뭉치(ISAAC): 대규모 사회 집단 담론 분석을 위한 공개 도구 및 재현 가능한 파이프라인

The Illinois Social Attitudes Aggregate Corpus (ISAAC): An Open Tool and Reproducible Pipeline for Analyzing Social Group Discourse at Scale

본 논문에서는 2007년부터 2023년까지 17년 동안 인종, 성적 지향, 연령, 장애 여부, 체중, 피부색에 기반한 6가지 핵심 사회 집단 구분에 대한 관련성을 기준으로 선별된 5억 2,700만 개 이상의 영어 레딧(Reddit) 게시물로 구성된 개방적이고 모듈화되었으며 접근성이 높은 말뭉치인 일리노이 사회적 태도 종합 말뭉치(ISAAC, Illinois Social Attitudes Aggregate Corpus)를 소개합니다. 다단계의 인간 감사(human-audited) 필터링 파이프라인을 사용하여 정제된 데이터셋(dataset) 내 무관한 콘텐츠의 비율을 전체적으로뿐만 아니라 각 사회 집단 구분별로도 10% 미만으로 유지했습니다. 이후 각 게시물에는 사용자의 추정 거주 지역과 함께 도덕화, 감성, 감정, 언어적 일반화를 포함하여 검증된 기성(off-the-shelf) 및 맞춤형 시맨틱 레이블 세트가 알고리즘을 통해 주석 처리되었습니다. 우리는 온라인 검색 행동, 주요 사회적 사건(전국적 및 지역적) 동안의 시간적 급증, 대중 태도의 장기적 변화와 같은 거시적 차원의 사회적 경향과 ISAAC을 연결하는 수렴적 증거를 통해 결과 말뭉치의 유효성을 확인합니다. ISAAC은 통합된 공개 인프라를 제공함으로써 연구 파편화를 없애고 원활한 복제를 가능하게 하는 동시에 대규모의 다양한 실증적 워크플로를 지원합니다. 구체적으로 ISAAC을 통해 연구자들은 범주 간 비교를 수행하고, 사회 집단 담론의 장기적인 시간적 변화를 높은 정밀도(precision)로 추적하며, 공간적 변이를 지역화된 여론 및 정책 결과에 매핑할 수 있습니다. ISAAC의 완전 공개형 모듈식 파이프라인은 말뭉치를 새로운 플랫폼, 언어 및 사회적 범주로 쉽게 확장할 수 있도록 지원합니다. 다양한 연구 요구를 수용하기 위해 ISAAC은 포인트 앤 클릭 웹사이트 및 레이블러 웹 앱을 통한 노코드 방식과 SQL 플레이그라운드, Python 패키지, HuggingFace를 통한 프로그래밍 방식 모두로 접근할 수 있습니다.

arXiv:2609.27615v1cs.AI공통 태그 Emotion Recognition, Multimodal Emotion Recognition

BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합

BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport

멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.

arXiv:2609.25186v1cs.CY공통 태그 Fairness, Emotion Recognition

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2607.22658v1cs.AI공통 태그 Fairness, Emotion Recognition

StanceBench: 음성 기반 오디오 LLM의 대인적 태도 평가 벤치마크

StanceBench: A Benchmark for Audio LLM-Based Interpersonal Stance Evaluation from Speech

음성-대-음성 대화 모델은 사회적 의도를 전달하기 위해 운율(prosody)과 상호작용적 뉘앙스에 점점 더 의존하고 있지만, 이러한 단서에 대한 벤치마크는 여전히 제한적이다. 본 연구는 대화 음성에서 대인적 태도를 측정하고 오디오를 처리할 수 있는 LLM을 자동 심사자로 평가하는 벤치마크인 StanceBench를 제안한다. Seamless Interaction 코퍼스를 사용하여, StanceBench는 (1) 역할 프롬프트(role-prompt) 극(poles)을 통해 9개의 태도 차원을 정의하고, (2) 단일 화자 및 상호작용 기반 평가를 표준화하며, (3) LLM-as-a-judge의 견고성, 바이어스, 및 태도 추론을 보고한다. 평가된 태도들 중 공감(empathy)과 공손함(politeness)이 가장 쉽다. 따뜻함(warmth)과 단호함(assertiveness)은 긍정성 편향/비대칭(positivity skew/asymmetry)과 함께 중간 정도로 구분 가능하다. 정직함(honesty)은 가장 어렵고 프롬프트 순서 바이어스가 높게 나타나며, 이는 턴 간 증거가 필요하다는 점과 일치한다. 주의(attentiveness)는 구분 가능하지만 인간 판단과의 일치도는 낮다. 상호작용 태도는 더 맥락에 민감하며, 임계값 간격과 높은 분산이 있고, 특히 갈등 조절(conflict regulation)에서 그렇다.

arXiv:2607.20722v1cs.CL공통 태그 Fairness, Emotion Recognition

REGARD: 대규모 언어 모델의 지역별 정서 차이

REGARD: Regional Affective Differences in Large Language Models

서로 다른 언어적·지역적 생태계에서 학습되고 정렬(alignment)된 대규모 언어 모델(LLM)은 동일한 정치적, 문화적, 지정학적 대상을 서로 다른 방식으로 프레이밍할 수 있다. 이러한 차이는 종종 감성(sentiment), 호감도(favorability), 또는 입장(stance)을 통해 평가되며, 모델의 태도를 단일한 긍정-부정 축으로 축소한다. 우리는 REGARD를 소개한다. 이는 목표 지향 Valence-Arousal-Dominance(VAD) 프로파일링을 사용하여 소련 이후(post-Soviet) 대상에 대한 LLM 간 정서적 프레이밍 차이를 유발하는 요인을 연구한다. 19개 모델에 500개의 지역별 대상을 질의하고, GPT-4o-mini와 Qwen3.6-35B-A3B라는 두 독립 LLM 심판으로 응답을 채점하며, 300개 항목의 인간 주석 부분집합에서 측정값을 검증한다. 정서 및 응답 행동 프로파일에 기반한 19개 모델 전체의 사후 Ward-linkage 클러스터링은 모델 출처, 계열(family), 매개변수(parameter) 수를 가로지르는 세 가지 행동 클러스터를 산출한다. 일반적 답변(generic-answer) 비율은 낮은 각성(arousal)과 강하게 연관되어 있다(r = -0.81). 클러스터 배치와도 연관된다. 평가적 프롬프트를 템플릿화된 응답으로 회피하는 모델은 출처와 관계없이 낮은 각성에서 함께 클러스터링된다. 이러한 결과는 VAD 프로파일링이 감성 기반의 기존 평가에서는 대체로 드러나지 않는 정서적 프레이밍의 한 차원인 정서적 강도(emotional intensity)를 포착함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.