Graph Neural Networks in EEG-based Emotion Recognition: A Survey
원문 초록
Compared to other modalities, EEG-based emotion recognition can intuitively respond to the emotional patterns in the human brain and, therefore, has become one of the most concerning tasks in the brain-computer interfaces field. Since dependencies within brain regions are closely related to emotion, a significant trend is to develop Graph Neural Networks (GNNs) for EEG-based emotion recognition. However, brain region dependencies in emotional EEG have physiological bases that distinguish GNNs in this field from those in other time series fields. Besides, there is neither a comprehensive review nor guidance for constructing GNNs in EEG-based emotion recognition. In the survey, our categorization reveals the commonalities and differences of existing approaches under a unified framework of graph construction. We analyze and categorize methods from three stages in the framework to provide clear guidance on constructing GNNs in EEG-based emotion recognition. In addition, we discuss several open challenges and future directions, such as Temporal full-connected graph and Graph condensation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SleepFM-2를 통해 200만 시간의 수면 데이터로부터 전이 가능한 인간 생리학적 특성 학습하기
Learning transferable human physiology from two million hours of sleep with SleepFM-2
수면은 뇌, 심장, 근육 및 호흡계 전반의 조화로운 활동을 포착함으로써 건강 상태를 들여다볼 수 있는 야간의 창을 제공합니다. 본 논문에서는 사전학습(pre-training)에 사용된 235,865건을 포함하여 26개 코호트의 수면다원검사(PSG) 기록 282,511건을 바탕으로 개발 및 평가된 수면 파운데이션 모델(foundation model)인 SleepFM-2를 소개합니다. 이 데이터는 200만 시간 이상의 다중모달(multimodal) 생리 신호에 걸쳐 있습니다. 이전 SleepFM과 비교하여, SleepFM-2는 질병 예측 및 수면 점수 측정을 개선하고, 각성(arousal), 사지 운동 및 호흡 이벤트 탐지를 지원하며, 웨어러블 센싱과 주관적 수면 표현형(phenotypes)으로 전이(transfer)됩니다. SleepFM-2의 PSG 표현(representation)을 연령, 성별, BMI와 결합한 모델은 사전학습 중 접하지 않은 한 의료 시스템을 포함한 두 개의 비공개(held-out) 코호트에서 이후 기록된 188개 전자의무기록(EHR) 표현형에 대해 사전 지정된 변별력 및 유의성 기준을 충족했습니다. 또한 SleepFM-2는 동일한 기록에서 도출된 480개 특징(feature) 기준선(baseline) 모델을 능가했습니다. 이 질병 점수는 감소된 시그마 대역 공간 결합 및 증가된 수면밀도(hypnodensity) 엔트로피와 연관된 재현 가능한 주성분을 드러냈습니다. 동결된 인코더(frozen encoder)는 수면 이벤트에 대해 전문가 채점자의 관찰된 범위 내에서 작동했으며, 각성 중 뇌파(EEG), 헤드밴드 및 인이어 EEG, 손목 PPG 및 손목 가속도계 데이터로 전이되었습니다. 또한 6개 가속도계 코호트 전반에서 수면 단계 분류(sleep staging)를 개선했으며, UK Biobank에서 가속도계 데이터로 직접 사전학습된 모델과 유사한 질병 예측 성능을 달성했습니다. 마지막으로 SleepFM-2는 기존 PSG 요약으로는 포착되지 않던 주관적 수면의 측면, 특히 기록된 밤에 대한 보고 내용을 포착했습니다. 이러한 결과는 다중모달 수면 생리학이 질병, 임상 작업, 센서 및 주관적 경험 전반에 걸쳐 인간 건강에 대한 전이 가능한 표현을 제공할 수 있음을 보여줍니다.
EEG-fNIRS 기반 피험자 간 연속 정동 회귀를 위한 공유 및 개별 구조 모델링
Modeling Shared and Individual Structure for Cross-Subject Continuous Affect Regression from EEG-fNIRS
생체 신호로부터 매초 연속적인 쾌락도-각성도(valence-arousal)를 추정하는 연구는 일반적으로 평가 대상과 동일한 사람의 라벨링된 데이터를 모델이 확인하는 피험자 의존적(subject-dependent) 환경에서 주로 수행됩니다. 본 연구에서는 동기화된 EEG-fNIRS 데이터셋을 바탕으로 더 까다로운 제로샷(zero-shot) 피험자 간 변형 문제를 다룹니다. 즉, 학습 피험자 집합과 분리된 상태에서 동일한 비디오 자극을 시청하는 동안 기록된 라벨 없는 EEG/fNIRS 신호만을 바탕으로, 모델이 라벨을 전혀 관찰하지 못한 피험자의 원시 스케일([1, 255]) 쾌락도 및 각성도 궤적을 예측합니다. 본 연구는 정동 궤적을 동일한 자극을 시청한 피험자 간에 공유되는 구조와, 라벨이 필요 없는 EEG 마커(알파 대역 채널 간 동기화)로부터 각 테스트 피험자별로 추정되어 척도 중간값을 기준으로 공유 궤적의 크기를 재조정(rescaling)하는 개별 구조로 분해합니다. 저자들은 네 가지 독립적인 축을 통해 피험자별 캘리브레이션 메커니즘을 검증합니다: 마커와 각 피험자의 실제 최적 게인 간의 LOSO(leave-one-subject-out) 상관관계, 비선형 대안과의 함수 형태 비교, 파이프라인의 각 구성 요소 기여도를 분리하는 반복 leave-4-out 컴포넌트 절제 연구(ablation), 피험자별 스케일링의 남은 개선 여지를 제한하는 한계(ceiling) 분석입니다. 홀드아웃 피험자에 대해 모델은 두 평가 배치에 걸쳐 전체 MAE 25.96 / 22.80(쾌락도 21.94 / 19.6, 각성도 29.98 / 26.0)을 달성하여, 동일한 피험자 독립 분할에서 보고된 EEGNet 및 ASAC-Net 베이스라인(원시 스케일 점수 각각 60.6 및 55.0)보다 훨씬 낮은 오차를 보였습니다. 나아가 모델 아키텍처, 특징 표현 및 예측 타깃 전반에 걸친 체계적인 부정적 결과 탐색을 보고하며, 단일 알파 동기화 마커보다 성능을 개선할 수 있는 신호를 발견하지 못했음을 밝힙니다.
친숙한 비디오에서의 EEG-fNIRS 감정 회귀를 위한 강력한 기준선으로서의 저비용 비디오-시간 사전확률
Low-Cost Video--Time Priors as a Strong Baseline for EEG--fNIRS Emotion Regression on Familiar Videos
연속 감정 회귀(continuous emotion regression)는 시청자가 비디오를 시청하는 동안 순간순간의 긍정-부정 차원(valence) 및 각성(arousal)을 추정합니다. 친숙한 비디오 배포 환경에서, 학습(training) 참여자별 추정치로부터의 응답을 활용하며, 사전확률(prior)이 지배적인 고정 융합은 생리적 신호가 잔차 보정을 추가하는지 여부를 검증합니다. 24명 대상의 5-겹 피험자 분리 평가(five-fold subject-held-out evaluation)에서 내부 및 외부 평가 기준 각각 융합 대비 0.05 및 0.32 MAE 이내였습니다. 출처 명시적 제거 연구(ablation) 결과, 비디오 식별 정보와 비디오 내 시간이 오차 감소의 대부분을 설명한 반면, EEG-fNIRS를 통한 이득은 더 작았으며 참여자 및 비디오 전반에 걸쳐 편차를 보였습니다. 이러한 결과는 비디오-시간 사전확률을 강력하고 비용이 적게 드는 기준선(baseline)으로 규명하며, EEG-fNIRS를 친숙한 비디오 감정 회귀를 위한 선택적 잔차 신호로 자리매김하게 합니다.
뇌-언어 디코딩: 태스크, 신호, 방법론, 평가, 실질적 활용 및 그 너머
Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond
뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.
Signal2Symbol: 설명 가능한 생리학적 시계열 이상 탐지를 위한 신경-기호적 시간적 추론
Signal2Symbol: Neuro-Symbolic Temporal Reasoning for Explainable Physiological Time-Series Anomaly Detection
심전도(ECG)와 뇌파(EEG)와 같은 생리학적 시계열은 복잡한 시간적 구조, 상당한 측정 변동성, 그리고 투명한 의사결정에 대한 강한 필요를 보인다. 딥 모델은 높은 탐지 성능을 달성할 수 있지만, 어떤 구간이 이상한지, 국소 이상이 시간에 따라 어떻게 연관되는지, 한 탐지가 더 넓은 반복 패턴에 속하는지에 대한 통찰은 종종 제한적이다. 우리는 설명 가능한 생체신호 이상 탐지를 위한 신경-기호적(neuro-symbolic) 프레임워크인 Signal2Symbol을 제안한다. 이 방법은 먼저 학습된 VQ-VAE(Vector Quantized Variational Autoencoder) 코드북 또는 SAX(Symbolic Aggregate approXimation) 베이스라인을 사용해 ECG/EEG 신호를 기호(symbol) 시퀀스로 변환한다. 이어서 bigram enriched token-window 트랜잭션을 구성하고, minimal rare itemset mining에서 도출된 희귀 아이템셋(rare itemset) 증거를 통해 이상을 점수화한다. 탐지된 이상 윈도우는 구간(interval)으로 병합되고 Allen interval algebra로 서로 연관되며, 이를 통해 악화 연쇄(escalation chains), 아티팩트(artifact) 중첩, 채널 간 동기(cross-channel synchrony)와 같은 복합 시간적 설명이 가능해진다. 마지막으로 형식 개념 분석(Formal Concept Analysis, FCA)에 기반한 희귀 시간적 개념 격자(concept lattice)를 도입하며, 이는 공유된 희귀 기호적 증거, Allen 시간적 관계, 채널 컨텍스트, 견고성(robustness) 속성을 기준으로 이상 구간을 묶는다. 결과 Galois 격자는 다수의 국소 탐지를 해석 가능한 시간-기호적(temporal-symbolic) 이상 패밀리로 압축한다. 세 개의 공개 벤치마크에서 평가한다: MIT-BIH Arrhythmia(beat 수준 ECG), PTB-XL(기록 수준 ECG), Bonn EEG 데이터셋(segment 수준 EEG). 가법 잡음(additive noise)과 기준선 변동(baseline-wander) 교란 하에서 견고성을 스트레스 테스트한다. 결과는 시간적 이상 분석에서 신경-기호적 토큰화의 가치를 부각하며, Allen/FCA 추론이 국소 탐지에 대한 간결하고 해석 가능한 요약을 제공함을 보여준다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.