MicroEmo: Time-Sensitive Multimodal Emotion Recognition with Micro-Expression Dynamics in Video Dialogues
원문 초록
Multimodal Large Language Models (MLLMs) have demonstrated remarkable multimodal emotion recognition capabilities, integrating multimodal cues from visual, acoustic, and linguistic contexts in the video to recognize human emotional states. However, existing methods ignore capturing local facial features of temporal dynamics of micro-expressions and do not leverage the contextual dependencies of the utterance-aware temporal segments in the video, thereby limiting their expected effectiveness to a certain extent. In this work, we propose MicroEmo, a time-sensitive MLLM aimed at directing attention to the local facial micro-expression dynamics and the contextual dependencies of utterance-aware video clips. Our model incorporates two key architectural contributions: (1) a global-local attention visual encoder that integrates global frame-level timestamp-bound image features with local facial features of temporal dynamics of micro-expressions; (2) an utterance-aware video Q-Former that captures multi-scale and contextual dependencies by generating visual token sequences for each utterance segment and for the entire video then combining them. Preliminary qualitative experiments demonstrate that in a new Explainable Multimodal Emotion Recognition (EMER) task that exploits multi-modal and multi-faceted clues to predict emotions in an open-vocabulary (OV) manner, MicroEmo demonstrates its effectiveness compared with the latest methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Towards Robust Multimodal Emotion Recognition under Missing Modalities and Distribution Shifts
TACFN: Transformer-based Adaptive Cross-modal Fusion Network for Multimodal Emotion Recognition
Feature-Based Dual Visual Feature Extraction Model for Compound Multimodal Emotion Recognition
표현에서 반응으로: 대화 상대방 감정 인식을 위한 역할 인지 시각 전이 및 자극 유도 추론
From Expression to Reaction: Role-aware Visual Transfer and Stimulus-guided Reasoning for Interlocutor Emotion Recognition
본 논문에서는 청자 전용 비디오와 화자 전용 오디오로부터 청자의 감정을 예측하는 대화 상대방 감정 인식을 위한 역할 인지 자극 유도(RASG, Role-aware Stimulus-guided) 프레임워크를 제안합니다. RASG는 역할 인지 시각 전이(RVT) 및 자극 유도 경계 추론(SBR) 모듈로 구성되며, 이들은 각각 라벨이 지정된 청자 데이터 부족으로 인한 지도(supervision) 불일치 문제와 화자의 맥락에 따라 해석이 달라지는 시각적으로 유사한 청자 반응 간의 모호성을 해결합니다. 구체적으로 RVT는 얼굴 표정이 감정 라벨을 뒷받침하는 화자 샘플을 선별합니다. 그런 다음 청자 트랙을 필터링하고 신뢰할 수 있는 의사 라벨(pseudo-label)을 활용하여 청자 중심의 시각 전문가 모델을 학습(training)합니다. SBR은 시각 모델이 불확실할 때만 2-클래스 언어 추론기를 사용합니다. 이는 화자의 오디오와 텍스트를 직접적인 감정 증거가 아닌 맥락으로 취급하여 유사한 청자 반응을 구분합니다. MER-Cross 데이터셋에서 수행된 실험에 따르면, RASG는 MER-Cross에서 76.25\%를 달성하고 기준선의 성능을 17\% 이상 향상시킵니다. 본 연구팀은 ACM MM 2026의 MER Grand Challenge 트랙 1(MER-Cross)에서 2위를 차지했습니다.
BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합
BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport
멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.
MER-R1: 느린-빠른 사고 시너지를 통한 다중 모달 감정 추론
MER-R1: Multimodal Emotion Reasoning via Slow-Fast Thinking Synergy
명시적 추론이 예측을 더 해석 가능하게 만들더라도, 다중 모달 감정 인식(MER) 정확도를 반드시 향상시키지는 않는다는 것을 발견했다. 구체적으로, 추론 기반 MLLM에서 직접적인 답을 유도하는 빠른 사고(fast thinking)는 숙고적 추론 이후의 느린 사고(slow thinking)보다 종종 더 우수한 성능을 보인다. 경험적 분석 결과, 빠른 사고는 더 넓고 확신 있는 예측으로 재현율을 높이는 반면, 느린 사고는 부정확한 범주를 보수적으로 걸러내어 정밀도를 높이는 경향이 있다. 이러한 통찰을 바탕으로, 느린-빠른 상호보완을 명시적 최적화로 전환하는 강화학습 프레임워크인 MER-R1을 제안한다. 이중 목표 분리(dual-objective disentanglement)는 재현율과 정밀도를 두 개의 최적화 신호로 분리하여, 서로 트레이드오프하는 대신 공동으로 최적화할 수 있게 한다. 느린-빠른 신뢰도 보정(slow-fast confidence calibration)은 최종 느린 사고 답변을 빠른 사고의 직관과 더 잘 정렬하여, 올바른 감정은 강화하고 잘못된 감정은 억제한다. 이를 통해 MER-R1은 빠른 사고의 재현율 지향적 직관과 느린 사고의 정밀도 지향적 선택성을 통합한다. 또한 이 시너지에 대한 이론적 정당성을 제시하며, 최적화 과정에서 분산으로 인한 간섭을 완화함을 보인다. MER-UniBench와 MME-Emotion에 대한 광범위한 실험에서 MER-R1은 최첨단(state-of-the-art) 성능을 달성하며, 추론이 실질적으로 감정 인식에 도움이 되도록 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.