arXiv:2307.05375

Emotion Analysis on EEG Signal Using Machine Learning and Neural Network

S. M. Masrur Ahmed, Eshaan Tanzim Sabur

제출 2023-07-09

원문 초록

Emotion has a significant influence on how one thinks and interacts with others. It serves as a link between how a person feels and the actions one takes, or it could be said that it influences one's life decisions on occasion. Since the patterns of emotions and their reflections vary from person to person, their inquiry must be based on approaches that are effective over a wide range of population regions. To extract features and enhance accuracy, emotion recognition using brain waves or EEG signals requires the implementation of efficient signal processing techniques. Various approaches to human-machine interaction technologies have been ongoing for a long time, and in recent years, researchers have had great success in automatically understanding emotion using brain signals. In our research, several emotional states were classified and tested on EEG signals collected from a well-known publicly available dataset, the DEAP Dataset, using SVM (Support Vector Machine), KNN (K-Nearest Neighbor), and an advanced neural network model, RNN (Recurrent Neural Network), trained with LSTM (Long Short Term Memory). The main purpose of this study is to improve ways to improve emotion recognition performance using brain signals. Emotions, on the other hand, can change with time. As a result, the changes in emotion over time are also examined in our research.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.01238v2cs.HC공통 태그 Emotion Recognition, EEG

EduGage: 자기주도형 비디오 학습 환경에서 센서 기반 순간 몰입도 평가를 위한 멀티모달 데이터셋 및 벤치마크

EduGage: A Multimodal Dataset and Benchmark for Sensor-Based Momentary Assessment of Engagement in Self-Guided Video Learning

주의 집중, 정서적, 인지적 차원과 연결되는 몰입도(engagement)는 학습에서 중요한 역할을 합니다. 온라인 및 비디오 기반 학습 환경에서 학습자는 교수 자료와의 상호작용을 스스로 조절해야 하는 경우가 많습니다. 따라서 몰입도를 측정하고 성찰하는 것은 학습자와 적응형 학습 시스템 모두를 지원할 수 있습니다. 본 연구에서는 웨어러블 및 카메라 기반 감지 장치를 사용하여 PPG, ECG, EDA, EEG, IMU, 심박수, 체온, 시선 추적 데이터를 포함한 생체 및 모션 신호를 수집하여 학습자의 몰입도를 추정합니다. 비디오 기반 학습 시나리오에서 16명의 참가자를 대상으로 사용자 연구를 수행하였으며, 참가자들은 학습 과제를 완료하고 직전 1분 동안 주의를 집중하기 얼마나 어려웠는지를 보고하는 1-5점 척도의 현장 몰입도 프로브(engagement-probe) 평가를 반복적으로 제공했습니다. 본 연구는 몰입도 추정을 위한 벤치마크를 구축하고, 다양한 감지 모달리티를 비교하며, 학습자 몰입도를 특성화하기 위한 멀티모달 모델링의 타당성과 효과성을 심층 분석합니다. 참가자 기반 교차 검증에서 모달리티 인식 참조 모델은 0.80의 MAE, 83.18%의 오차 1 이내(within-1) 정확도, 70.96%의 이진 정확도, 62.90%의 이진 Macro-F1을 달성하여 센서 미사용, 통계, 딥 시계열, 파운데이션 모델, 대규모 언어 모델(LLM) 기반 베이스라인보다 우수한 성능을 보였습니다. 본 연구 결과는 세밀한(fine-grained) 몰입도 추정이 실현 가능하지만 본질적으로 노이즈가 존재하며, 선호되는 센서 구성은 목표 지표와 실제 감지 부담에 따라 달라진다는 점을 시사합니다. 자기주도 학습에서 세밀한 센서 기반 몰입도 모델링에 대한 재현 가능한 연구를 지원하기 위해 동기화된 멀티모달 센서 신호, 프로브 정렬 몰입도 평가, 비디오 메타데이터, 퀴즈, 학습 자료가 포함된 EduGage 데이터셋을 본 연구의 주요 기여로 공개합니다.

arXiv:2610.02796v1cs.AI공통 태그 Emotion Recognition, EEG

EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링

Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS

생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.

arXiv:2610.03618v1cs.AI공통 태그 Emotion Recognition, EEG

친숙한 비디오에서의 EEG-fNIRS 감정 회귀를 위한 강력한 기준선으로서의 저비용 비디오-시간 사전확률

Low-Cost Video--Time Priors as a Strong Baseline for EEG--fNIRS Emotion Regression on Familiar Videos

연속 감정 회귀(continuous emotion regression)는 시청자가 비디오를 시청하는 동안 순간순간의 긍정-부정 차원(valence) 및 각성(arousal)을 추정합니다. 친숙한 비디오 배포 환경에서, 학습(training) 참여자별 추정치로부터의 응답을 활용하며, 사전확률(prior)이 지배적인 고정 융합은 생리적 신호가 잔차 보정을 추가하는지 여부를 검증합니다. 24명 대상의 5-겹 피험자 분리 평가(five-fold subject-held-out evaluation)에서 내부 및 외부 평가 기준 각각 융합 대비 0.05 및 0.32 MAE 이내였습니다. 출처 명시적 제거 연구(ablation) 결과, 비디오 식별 정보와 비디오 내 시간이 오차 감소의 대부분을 설명한 반면, EEG-fNIRS를 통한 이득은 더 작았으며 참여자 및 비디오 전반에 걸쳐 편차를 보였습니다. 이러한 결과는 비디오-시간 사전확률을 강력하고 비용이 적게 드는 기준선(baseline)으로 규명하며, EEG-fNIRS를 친숙한 비디오 감정 회귀를 위한 선택적 잔차 신호로 자리매김하게 합니다.

arXiv:2609.24324v1cs.AI공통 태그 Emotion Recognition, EEG

Brain-Token Learning: 장기 EEG 시퀀스 모델링을 위한 미세상태 기반 토큰화 및 다중 스케일 상호작용

Brain-Token Learning: Microstate-Based Tokenization and Multi-Scale Interaction for Long-Horizon EEG Sequence Modeling

뇌전도(EEG)는 동적인 뇌 활동을 파악할 수 있는 비침습적 창을 제공하지만, 장기(long-horizon) EEG 시퀀스를 모델링하는 것은 높은 시간적 복잡도, 피험자 간의 상당한 변동성, 생물학적으로 유의미한 시퀀스 표현의 부재로 인해 여전히 어려운 과제로 남아 있습니다. 고정 윈도우 및 패치 기반 표현과 같은 기존의 토큰화(tokenization) 전략은 인위적인 시간적 경계에 따라 EEG 신호를 이산화하므로, 본질적인 뇌 상태 역학을 훼손할 수 있습니다. 본 연구에서는 장기 EEG 시퀀스 모델링을 위해 뇌 토큰화(Brain Tokenization)를 도입한 신경과학 기반 프레임워크인 Brain-Token Learning을 제안합니다. Brain Tokenization은 EEG 신호를 사전 정의된 시간 세그먼트로 분할하는 대신, 반복되는 미세상태(microstate)에서 파생된 뇌 토큰(token)의 시퀀스로 표현하며, 각 토큰은 가변적인 시간적 지속 기간을 갖는 준안정적(quasi-stable) 대규모 뇌 상태에 대응합니다. 이러한 생물학적 근거를 둔 토큰을 기반으로, 저자들은 전역적 뇌 상태 문맥과 국소적 미세상태 전이를 공동으로 포착하기 위해 잠재 상태 집약(Latent State Aggregation) 및 상태 전이 모델링(State Transition Modeling)으로 구성된 다중 스케일 토큰 상호작용 모듈을 추가로 개발합니다. 저자들은 새로 수집된 장기 NeuroLong 데이터셋(dataset)과 4개의 정서적 또는 임상적 EEG 데이터셋(SEED, DEAP, MDD, NSSI)을 포함한 5개의 이종 EEG 데이터셋에서 Brain-Token을 평가(evaluation)합니다. 광범위한 실험을 통해 Brain-Token이 다양한 EEG 시나리오 전반에서 기존의 CNN/LSTM 아키텍처, 트랜스포머(Transformer) 기반 모델, 도메인 적응 기법들을 일관되게 능가함을 입증합니다. 추가 분석을 통해 강건하고 해석 가능한 EEG 표현을 학습(training)하는 데 있어 미세상태 기반 토큰화 및 다중 스케일 상호작용의 효과를 검증합니다. 이러한 결과는 Brain-Token이 장기 EEG 시퀀스 모델링을 위한 생물학적 근거를 갖춘 토큰화 패러다임임을 확립합니다.

arXiv:2607.07773v1cs.LG공통 태그 Emotion Recognition, EEG

심리학적 기반 레이블 구조를 활용한 EEG 기반 감정 인식을 위한 그래프 정규화 심층 학습

Graph-Regularized Deep Learning for EEG-Based Emotion Recognition with Psychologically-Grounded Label Structure

EEG 기반 감정 인식은 정신 건강 모니터링 및 감성 뇌-컴퓨터 인터페이스(BCI)에 있어 매우 중요하지만, 기존 심층 학습(deep learning) 접근법은 감정 클래스를 독립된 레이블로 취급하여 심리적 상호 의존성을 무시하는 경우가 많다. 본 논문에서는 감정을 그래프의 노드로 개념화하고, 에지(edge)가 차원적 감정 이론에 기반한 근접성을 인코딩하는 그래프 정규화(graph-regularized) 학습 프레임워크를 제안한다. 우리는 계산 복잡도 증가 순으로 세 가지 상호 보완적인 정규화(regularization) 전략을 적용한다: 그래프 레이블 스무딩(Graph Label Smoothing, 직관적 소프트 레이블링), 그래프 라플라시안을 통한 그래프 상의 교환 거리(Commuting distance on graph via Graph Laplacian, 스펙트럴 그래프 이론), 슬라이스드 와서스타인 거리(Sliced Wasserstein Distance, 그래프 상의 최적 수송). 이 전략들은 확립된 감정 위상 구조에서 벗어난 모델(model) 예측에 패널티를 부과한다. 제안된 프레임워크는 세 가지 대표적인 백본 아키텍처, 즉 AudioTransformer(순수 트랜스포머(transformer)), Conformer(CNN-트랜스포머 하이브리드), DCGNN(인과 그래프 신경망(causal graph neural network))에 걸쳐 평가되어 아키텍처에 독립적인 이점을 입증한다. SEED-IV(4개 클래스) 및 SEED-V(5개 클래스) 데이터셋에서의 실험 결과 일관된 성능 향상이 나타났으며, 최선의 경우 정확도 최대 +5.42% 향상 및 심리적으로 타당하지 않은 오분류 39% 감소를 달성하였다. 궁극적으로, 본 프레임워크는 표준 접근법으로 달성 가능한 성능의 상한선을 높이는 데 기여한다. 코드는 추후 공개될 예정이다.

arXiv:2607.04139v1cs.LG공통 태그 Emotion Recognition, EEG

교차 데이터셋 EEG 기반 감정 인식을 위한 마스크 생성-대조 표현 학습

Masked Generative-Contrastive Representation Learning for Cross-Dataset EEG-Based Emotion Recognition

자기지도 학습(SSL)은 특징 표현과 일반화를 개선함으로써 교차 데이터셋 전이에 강한 잠재력을 보인다. 그러나 EEG 기반 감정 인식에 대한 적용은 아직 대부분 미탐구 영역으로 남아 있다. 기존 SSL 방법들은 다양한 채널 구성 하에서 EEG 신호의 복잡한 시공간적 의존성을 포착하고, 노이즈에 강인한 세밀한 표현을 추출하며, 피험자 간 잘 일반화되는 전역 특징을 도출하는 데 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 EEG 기반 감정 인식을 위해 특별히 설계된 새로운 SSL 프레임워크인 마스크 생성-대조 표현 학습(MGCRL)을 제안한다. 영역 인식 시공간 인코더를 기반으로 구축된 MGCRL은 생성 학습과 대조 학습을 통합하여 교차 데이터셋 일반화를 위한 세밀한 표현과 전역 판별 표현을 모두 달성한다. MGCRL은 세 가지 핵심 설계를 도입한다: 1) 지역화된 공간적·기능적 관계를 포착하기 위해 영역 기반 그래프 합성곱을 통합한 시공간 인코더로, 영역별 특징 학습을 강화하고 데이터셋 간 다양한 EEG 채널 구성의 영향을 완화한다; 2) 마스크된 특징을 활용하여 노이즈 강인성이 있는 세밀한 표현을 포착하는 결합 임베딩 예측 아키텍처(JEPA) 기반 생성 학습 메커니즘으로, 미묘한 감정 상태를 특성화하는 모델의 역량을 향상시킨다; 3) 동일한 자극에 걸쳐 시간적으로 안정적이고 피험자 간 불변적인 표현을 학습하기 위해 마스크된 특징과 원본 특징을 활용하는 대조 학습 전략으로, 감정 판별과 피험자 간 일반화를 향상시킨다. 이러한 설계들 하에서 MGCRL은 보편적 표현을 학습하는 뛰어난 능력을 보인다. 대규모 FACED 데이터셋에서 사전학습하고 다수의 SEED-시리즈 데이터셋에서 미세조정하는 광범위한 실험이 MGCRL의 효과성을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.