Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models
원문 초록
Automatic emotion recognition plays a key role in computer-human interaction as it has the potential to enrich the next-generation artificial intelligence with emotional intelligence. It finds applications in customer and/or representative behavior analysis in call centers, gaming, personal assistants, and social robots, to mention a few. Therefore, there has been an increasing demand to develop robust automatic methods to analyze and recognize the various emotions. In this paper, we propose a neural network-based emotion recognition framework that uses a late fusion of transfer-learned and fine-tuned models from speech and text modalities. More specifically, we i) adapt a residual network (ResNet) based model trained on a large-scale speaker recognition task using transfer learning along with a spectrogram augmentation approach to recognize emotions from speech, and ii) use a fine-tuned bidirectional encoder representations from transformers (BERT) based model to represent and recognize emotions from the text. The proposed system then combines the ResNet and BERT-based model scores using a late fusion strategy to further improve the emotion recognition performance. The proposed multimodal solution addresses the data scarcity limitation in emotion recognition using transfer learning, data augmentation, and fine-tuning, thereby improving the generalization performance of the emotion recognition models. We evaluate the effectiveness of our proposed multimodal approach on the interactive emotional dyadic motion capture (IEMOCAP) dataset. Experimental results indicate that both audio and text-based models improve the emotion recognition performance and that the proposed multimodal solution achieves state-of-the-art results on the IEMOCAP benchmark.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
표현에서 반응으로: 대화 상대방 감정 인식을 위한 역할 인지 시각 전이 및 자극 유도 추론
From Expression to Reaction: Role-aware Visual Transfer and Stimulus-guided Reasoning for Interlocutor Emotion Recognition
본 논문에서는 청자 전용 비디오와 화자 전용 오디오로부터 청자의 감정을 예측하는 대화 상대방 감정 인식을 위한 역할 인지 자극 유도(RASG, Role-aware Stimulus-guided) 프레임워크를 제안합니다. RASG는 역할 인지 시각 전이(RVT) 및 자극 유도 경계 추론(SBR) 모듈로 구성되며, 이들은 각각 라벨이 지정된 청자 데이터 부족으로 인한 지도(supervision) 불일치 문제와 화자의 맥락에 따라 해석이 달라지는 시각적으로 유사한 청자 반응 간의 모호성을 해결합니다. 구체적으로 RVT는 얼굴 표정이 감정 라벨을 뒷받침하는 화자 샘플을 선별합니다. 그런 다음 청자 트랙을 필터링하고 신뢰할 수 있는 의사 라벨(pseudo-label)을 활용하여 청자 중심의 시각 전문가 모델을 학습(training)합니다. SBR은 시각 모델이 불확실할 때만 2-클래스 언어 추론기를 사용합니다. 이는 화자의 오디오와 텍스트를 직접적인 감정 증거가 아닌 맥락으로 취급하여 유사한 청자 반응을 구분합니다. MER-Cross 데이터셋에서 수행된 실험에 따르면, RASG는 MER-Cross에서 76.25\%를 달성하고 기준선의 성능을 17\% 이상 향상시킵니다. 본 연구팀은 ACM MM 2026의 MER Grand Challenge 트랙 1(MER-Cross)에서 2위를 차지했습니다.
BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합
BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport
멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.
합성 음성, 실제 신호: 음성 복제를 통한 초언어적 보존 및 교차언어 증강
Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning
음성 분야에서 합성 데이터 증강은 ASR과 같은 언어학적 과제에 흔히 사용되지만, 초언어적 과제, 특히 라벨링된 데이터가 비용이 많이 들고 일부 환자 집단이 과소 대표되는 임상 과제에서는 연구가 훨씬 적다. 음성 복제(voice cloning)는 이러한 증강 접근법 중 하나이지만, 일반적으로 하위 과제 성능이 아닌 음성 명료도(WER)나 화자 유사도(SS)로 평가되며, 이러한 지표가 해당 과제가 의존하는 초언어적 신호를 보존하는지는 여전히 불분명하다. 우리는 공개 및 임상 데이터셋에서 다섯 가지 초언어적 과제에 대해 여덟 개의 음성 복제 모델을 벤치마크했으며, 대부분이 적당한 저하 수준으로 신호를 보존함을 보였다. 그런 다음 영어 임상 음성을 일본어로 복제하고, 복제 데이터로 학습하는 것이 실제 일본어 음성에 대한 우울증 및 불안 탐지에서 순수 교차언어 전이보다 우수함을 발견했으며, 이는 음성 복제가 저자원 언어에서 임상 음성 데이터를 증강하는 유망한 방향임을 시사한다.
PTEI: 대규모 언어 모델의 감성 지능 향상을 위한 성격 특성 통합
PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models
감성 지능(EI)의 발전에도 불구하고, 대규모 언어 모델(LLM)은 복잡한 감정 추론에서 여전히 인간에 비해 현저히 낮은 성능을 보인다. 이러한 격차는 부분적으로 개인차, 특히 인간의 감정 추론에 근본적인 역할을 하는 성격 특성의 제한적인 반영에서 비롯된다. 이를 해결하기 위해 우리는 LLM을 활용하여 성격 특성(Personality Traits)을 감성 지능 과제에 통합하는 새로운 프레임워크 PTEI를 제안한다. PTEI에서는 주어진 감정적 시나리오로부터 MBTI와 OCEAN 성격 특성을 직접 추출한 후, 성격 인식 프롬프트 내의 맥락 지식으로 활용하여 LLM이 감정과 그 근본적인 원인을 정확하게 추론하도록 유도한다. 최적의 맥락 그라운딩을 보장하기 위해 대조 학습(Contrastive Learning)을 적용하여 감정적·성격적으로 정렬된 시나리오를 제공하는 최적화된 검색 시스템을 구축함으로써 추론 품질을 향상시킨다. 검증된 EI 벤치마크에 대한 광범위한 실험 결과, PTEI는 다양한 LLM의 감정 이해(EU) 능력을 향상시키며, GPT 모델에서 가장 큰 개선 효과가 관찰되었다. PTEI와 사고의 연쇄(CoT) 추론을 결합하면 정확도가 추가로 4% 향상된다. 이러한 결과는 보다 정교한 사회적·심리적 그라운딩을 갖춘 AI 시스템 발전에 대한 PTEI의 기여를 강조한다.
미세표정 인식을 위한 행동 단위(AU) 기반 합성 비디오 생성
AU-Guided Synthetic Video Generation for Micro-Expression Recognition
미세표정 인식은 기존 데이터셋의 소규모, 좁은 인구통계학적 범위, 제한된 감정 레이블로 인해 한계가 있다. 우리는 AU 기반 이미지-투-비디오 생성으로 구축된 합성 미세표정 데이터셋인 EquiME를 소개한다. EquiME는 다섯 가지 목표 감정에 걸쳐 15K개의 소스 얼굴 이미지로부터 생성된 75K개의 비디오를 포함하며, 자동으로 추론된 인구통계학적 메타데이터와 비디오 품질 측정값도 함께 제공된다. 우리는 프레임 쌍 유사도, 공간 변화, 무참조 지각 품질 메트릭과 함께 SAMM 및 CASME II에 대한 교차 데이터셋 미세표정 인식(MER) 실험을 통해 EquiME를 평가한다. EquiME로 학습된 모델은 SAMM 및 CASME II에서 경쟁력 있는 교차 데이터셋 성능을 달성하며, 평가된 네 가지 아키텍처 전반에 걸쳐 비교적 낮은 변동성을 보인다. 본 논문은 데이터셋 설계, 비디오 생성에 사용된 구조화된 AU 조건화 파이프라인, 그리고 EquiME를 합성 MER 자원으로 평가하는 데 필요한 실증적 근거에 초점을 맞춘다. 프로젝트 페이지: https://kirito-blade.github.io/me-vlm/
Speech Emotion Recognition Based on Self-Attention Weight Correction for Acoustic and Text Features
토론
이 논문과 연결된 포럼 글이 아직 없습니다.