Emotion recognition based on multi-modal electrophysiology multi-head attention Contrastive Learning
원문 초록
Emotion recognition is an important research direction in artificial intelligence, helping machines understand and adapt to human emotional states. Multimodal electrophysiological(ME) signals, such as EEG, GSR, respiration(Resp), and temperature(Temp), are effective biomarkers for reflecting changes in human emotions. However, using electrophysiological signals for emotion recognition faces challenges such as data scarcity, inconsistent labeling, and difficulty in cross-individual generalization. To address these issues, we propose ME-MHACL, a self-supervised contrastive learning-based multimodal emotion recognition method that can learn meaningful feature representations from unlabeled electrophysiological signals and use multi-head attention mechanisms for feature fusion to improve recognition performance. Our method includes two stages: first, we use the Meiosis method to group sample and augment unlabeled electrophysiological signals and design a self-supervised contrastive learning task; second, we apply the trained feature extractor to labeled electrophysiological signals and use multi-head attention mechanisms for feature fusion. We conducted experiments on two public datasets, DEAP and MAHNOB-HCI, and our method outperformed existing benchmark methods in emotion recognition tasks and had good cross-individual generalization ability.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EEG-based Emotion Recognition via Efficient Convolutional Neural Network and Contrastive Learning
EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
친숙한 비디오에서의 EEG-fNIRS 감정 회귀를 위한 강력한 기준선으로서의 저비용 비디오-시간 사전확률
Low-Cost Video--Time Priors as a Strong Baseline for EEG--fNIRS Emotion Regression on Familiar Videos
연속 감정 회귀(continuous emotion regression)는 시청자가 비디오를 시청하는 동안 순간순간의 긍정-부정 차원(valence) 및 각성(arousal)을 추정합니다. 친숙한 비디오 배포 환경에서, 학습(training) 참여자별 추정치로부터의 응답을 활용하며, 사전확률(prior)이 지배적인 고정 융합은 생리적 신호가 잔차 보정을 추가하는지 여부를 검증합니다. 24명 대상의 5-겹 피험자 분리 평가(five-fold subject-held-out evaluation)에서 내부 및 외부 평가 기준 각각 융합 대비 0.05 및 0.32 MAE 이내였습니다. 출처 명시적 제거 연구(ablation) 결과, 비디오 식별 정보와 비디오 내 시간이 오차 감소의 대부분을 설명한 반면, EEG-fNIRS를 통한 이득은 더 작았으며 참여자 및 비디오 전반에 걸쳐 편차를 보였습니다. 이러한 결과는 비디오-시간 사전확률을 강력하고 비용이 적게 드는 기준선(baseline)으로 규명하며, EEG-fNIRS를 친숙한 비디오 감정 회귀를 위한 선택적 잔차 신호로 자리매김하게 합니다.
표현에서 반응으로: 대화 상대방 감정 인식을 위한 역할 인지 시각 전이 및 자극 유도 추론
From Expression to Reaction: Role-aware Visual Transfer and Stimulus-guided Reasoning for Interlocutor Emotion Recognition
본 논문에서는 청자 전용 비디오와 화자 전용 오디오로부터 청자의 감정을 예측하는 대화 상대방 감정 인식을 위한 역할 인지 자극 유도(RASG, Role-aware Stimulus-guided) 프레임워크를 제안합니다. RASG는 역할 인지 시각 전이(RVT) 및 자극 유도 경계 추론(SBR) 모듈로 구성되며, 이들은 각각 라벨이 지정된 청자 데이터 부족으로 인한 지도(supervision) 불일치 문제와 화자의 맥락에 따라 해석이 달라지는 시각적으로 유사한 청자 반응 간의 모호성을 해결합니다. 구체적으로 RVT는 얼굴 표정이 감정 라벨을 뒷받침하는 화자 샘플을 선별합니다. 그런 다음 청자 트랙을 필터링하고 신뢰할 수 있는 의사 라벨(pseudo-label)을 활용하여 청자 중심의 시각 전문가 모델을 학습(training)합니다. SBR은 시각 모델이 불확실할 때만 2-클래스 언어 추론기를 사용합니다. 이는 화자의 오디오와 텍스트를 직접적인 감정 증거가 아닌 맥락으로 취급하여 유사한 청자 반응을 구분합니다. MER-Cross 데이터셋에서 수행된 실험에 따르면, RASG는 MER-Cross에서 76.25\%를 달성하고 기준선의 성능을 17\% 이상 향상시킵니다. 본 연구팀은 ACM MM 2026의 MER Grand Challenge 트랙 1(MER-Cross)에서 2위를 차지했습니다.
BiCFlow-MER: 조건 수송을 통한 판별형·생성형 멀티모달 감정 인식 통합
BiCFlow-MER: Orchestrating Discriminative and Generative Multimodal Emotion Recognition via Conditional Transport
멀티모달 감정 인식(MER)에서는 여러 모달리티의 상보적 단서를 통합해 인간의 정서 상태를 추론한다. 오디오-텍스트 MER에서는 정서 단서가 화자 스타일과 어휘 내용과 얽혀 있고, 교차 모달 불일치는 증거를 어떻게 통합할지 더 복잡하게 만든다. 기존 판별형 융합에서는 멀티모달 증거가 최종 예측으로 압축되어 모달리티별 단서와 충돌 정보가 충분히 보존되지 않는다. 반면 대규모 생성형 정서 모델에서는 정서 추론이 보통 언어 디코딩에 내재되어 감정 증거가 암묵적이며 구조화된 공간에서 검증하기 어렵다. 이러한 한계를 위해 BiCFlow-MER(Bidirectional Conditional Flow for Multimodal Emotion Recognition, 멀티모달 감정 인식을 위한 양방향 조건 흐름)를 조건 흐름(condition flow) 프레임워크로 제안하며, 오디오-텍스트 MER를 구조화된 감정 공간에서의 생성적 증거 수송 문제로 formulation한다. BiCFlow-MER 내에서는 감정 지향 증거를 화자 스타일·어휘 내용 요인에서 분리(disentangle)해 충돌 인식(conflict-aware) 정서 조건을 구성한다. 이 조건의 안내 하에 각 발화(utterance)는 양방향 rectified flow를 통해 명시적 감정 공간 끝점으로 수송(transport)된다. 후보 감정은 수송된 끝점에 대한 적응형 프로토타입-클라우드(prototype-cloud) 스코어링과 원래 멀티모달 조건에 대한 역방향 클래스-조건 일관성을 함께 검증하여 충돌 인식 인식을 가능하게 한다. BiCFlow-MER는 IEMOCAP, MELD, 제로샷(zero-shot) CASE 벤치마크에서 비교한 모든 방법보다 우수한 것으로 보고된다. 조건 수송을 통해 판별 인식과 생성적 증거 모델링을 조율(orchestrate)함으로써 BiCFlow-MER는 새로운 MER 패러다임을 제시한다.
Brain-Token Learning: 장기 EEG 시퀀스 모델링을 위한 미세상태 기반 토큰화 및 다중 스케일 상호작용
Brain-Token Learning: Microstate-Based Tokenization and Multi-Scale Interaction for Long-Horizon EEG Sequence Modeling
뇌전도(EEG)는 동적인 뇌 활동을 파악할 수 있는 비침습적 창을 제공하지만, 장기(long-horizon) EEG 시퀀스를 모델링하는 것은 높은 시간적 복잡도, 피험자 간의 상당한 변동성, 생물학적으로 유의미한 시퀀스 표현의 부재로 인해 여전히 어려운 과제로 남아 있습니다. 고정 윈도우 및 패치 기반 표현과 같은 기존의 토큰화(tokenization) 전략은 인위적인 시간적 경계에 따라 EEG 신호를 이산화하므로, 본질적인 뇌 상태 역학을 훼손할 수 있습니다. 본 연구에서는 장기 EEG 시퀀스 모델링을 위해 뇌 토큰화(Brain Tokenization)를 도입한 신경과학 기반 프레임워크인 Brain-Token Learning을 제안합니다. Brain Tokenization은 EEG 신호를 사전 정의된 시간 세그먼트로 분할하는 대신, 반복되는 미세상태(microstate)에서 파생된 뇌 토큰(token)의 시퀀스로 표현하며, 각 토큰은 가변적인 시간적 지속 기간을 갖는 준안정적(quasi-stable) 대규모 뇌 상태에 대응합니다. 이러한 생물학적 근거를 둔 토큰을 기반으로, 저자들은 전역적 뇌 상태 문맥과 국소적 미세상태 전이를 공동으로 포착하기 위해 잠재 상태 집약(Latent State Aggregation) 및 상태 전이 모델링(State Transition Modeling)으로 구성된 다중 스케일 토큰 상호작용 모듈을 추가로 개발합니다. 저자들은 새로 수집된 장기 NeuroLong 데이터셋(dataset)과 4개의 정서적 또는 임상적 EEG 데이터셋(SEED, DEAP, MDD, NSSI)을 포함한 5개의 이종 EEG 데이터셋에서 Brain-Token을 평가(evaluation)합니다. 광범위한 실험을 통해 Brain-Token이 다양한 EEG 시나리오 전반에서 기존의 CNN/LSTM 아키텍처, 트랜스포머(Transformer) 기반 모델, 도메인 적응 기법들을 일관되게 능가함을 입증합니다. 추가 분석을 통해 강건하고 해석 가능한 EEG 표현을 학습(training)하는 데 있어 미세상태 기반 토큰화 및 다중 스케일 상호작용의 효과를 검증합니다. 이러한 결과는 Brain-Token이 장기 EEG 시퀀스 모델링을 위한 생물학적 근거를 갖춘 토큰화 패러다임임을 확립합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.