Deep representation of EEG data from Spatio-Spectral Feature Images
원문 초록
Unlike conventional data such as natural images, audio and speech, raw multi-channel Electroencephalogram (EEG) data are difficult to interpret. Modern deep neural networks have shown promising results in EEG studies, however finding robust invariant representations of EEG data across subjects remains a challenge, due to differences in brain folding structures. Thus, invariant representations of EEG data would be desirable to improve our understanding of the brain activity and to use them effectively during transfer learning. In this paper, we propose an approach to learn deep representations of EEG data by exploiting spatial relationships between recording electrodes and encoding them in a Spatio-Spectral Feature Images. We use multi-channel EEG signals from the PhyAAt dataset for auditory tasks and train a Convolutional Neural Network (CNN) on 25 subjects individually. Afterwards, we generate the input patterns that activate deep neurons across all the subjects. The generated pattern can be seen as a map of the brain activity in different spatial regions. Our analysis reveals the existence of specific brain regions related to different tasks. Low-level features focusing on larger regions and high-level features focusing on a smaller and very specific cluster of regions are also identified. Interestingly, similar patterns are found across different subjects although the activities appear in different regions. Our analysis also reveals common brain regions across subjects, which can be used as generalized representations. Our proposed approach allows us to find more interpretable representations of EEG data, which can further be used for effective transfer learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Embedding neurophysiological signals
FOIT: Fast Online Instance Transfer for Improved EEG Emotion Recognition
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
뇌전도(EEG)는 진행 중인 신경 활동을 비침습적으로 측정하지만, 피험자, 장치, 전극 배치의 이질성 때문에 범용 EEG 모델을 구축하는 일은 여전히 어렵다. 기존 EEG 파운데이션 모델은 신경 성분과 비신경 성분을 모두 포함하는 관측 신호에 정의된 복원 기반 목적 함수에 주로 의존한다. 본 연구는 잠재 공간에서 예측하기 위해 결합 임베딩 예측 아키텍처(JEPA)를 채택한 EEG 파운데이션 모델인 구면 사전 분포 EEG 표현 아키텍처(Spherical Prior EEG Representation Architecture, SPERA)를 소개한다. SPERA는 다양한 두피 전극 기하 구조를 인코딩하기 위해 어텐션에 통합된 르장드르 다항식 공간 사전 분포를 도입한다. 모델을 EEG에 맞추는 두 가지 추가 구성요소로, 주기적인 전체 어텐션 블록과 교차 배치된 시간·공간 분해 어텐션, 그리고 잠재 유사도 구조를 스펙트럼 뷰와 정렬하는 관계형 스펙트럼 정규화기가 있다. 106개 데이터셋, 29,048명의 피험자로부터 얻은 약 80,000시간의 EEG로 사전 학습한 SPERA는 임상, 인지, BCI 응용에 걸친 9개 다운스트림 과제에서 가장 높은 평균 균형 정확도를 달성한다. 또한 SPERA는 선형 프로빙에서 강한 파라미터 효율성을, 다양한 녹화 조건에서 강건성을 보여, 다양한 EEG 분석을 위한 범용 백본으로서의 잠재력을 시사한다.
DyssomniaNN: 인간 수면 장애 및 인지된 피로 회복도에 대한 다중 스케일 스파이킹 신경 모델링
DyssomniaNN: Multi-Scale Spiking Neural Modeling of Human Sleep Disorders and Perceived Restedness
임상 수면 의학에서는 객관적인 수면 시간과 주관적인 주간 기능 장애 사이의 심각한 불일치가 반복적으로 보고되며, 이는 역설적 불면증의 수면 상태 오인과 제1형 기면증의 경계 불안정성에서 두드러지게 나타납니다. 본 논문에서는 수면 항상성과 일주기성 추동(circadian drive)에 대한 Borbély의 2과정 조절 모델, Saper의 시상하부 상호 플립플롭 회로, 그리고 순환 피질시상 누적-발화(LIF, leaky integrate-and-fire) 스파이킹 신경망(neural network)을 결합한 다중 스케일 생물물리학적 계산 프레임워크인 DyssomniaNN을 제시합니다. 연구진은 동일한 72시간 광주기 하에서 건강한 대조군, 일주기 리듬 수면-각성 장애(지연 위상형), 만성 불면증, 역설적 불면증, 제1형 기면증 등 5개 임상 코호트를 공식화합니다. 합성 국소 장전위(local field potential)는 모든 표준 주파수 대역에서 PhysioNet Sleep-EDF 데이터베이스의 실제 인간 뇌파(EEG) 스펙트럼과 밀접하게 일치합니다(스펙트럼 평균 절대 오차 0.33--0.35). 나아가 회복 효능을 정량화하기 위해 휴식 지수(Well-Rested Index)를 도입합니다. 시뮬레이션 결과 수면 시간은 피로 회복을 예측하지 못하는 것으로 나타났습니다. 역설적 불면증은 정상적인 총 수면 시간(21.15시간)을 보이지만 억제되지 않은 피질 베타 대역의 침투로 인해 낮은 회복률(37.6%)을 보였으며, 반면 기면증의 히포크레틴 결핍은 심각한 야간 분절(수면 개시 후 각성 시간 781분)과 35회의 입면 시 렘수면(SOREMP)을 초래합니다. DyssomniaNN은 기전적 수면 연구 및 가상 신경약리학을 위한 인 실리코(in silico) 플랫폼을 제공합니다.
RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터
RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG
기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.
SleepFM-2를 통해 200만 시간의 수면 데이터로부터 전이 가능한 인간 생리학적 특성 학습하기
Learning transferable human physiology from two million hours of sleep with SleepFM-2
수면은 뇌, 심장, 근육 및 호흡계 전반의 조화로운 활동을 포착함으로써 건강 상태를 들여다볼 수 있는 야간의 창을 제공합니다. 본 논문에서는 사전학습(pre-training)에 사용된 235,865건을 포함하여 26개 코호트의 수면다원검사(PSG) 기록 282,511건을 바탕으로 개발 및 평가된 수면 파운데이션 모델(foundation model)인 SleepFM-2를 소개합니다. 이 데이터는 200만 시간 이상의 다중모달(multimodal) 생리 신호에 걸쳐 있습니다. 이전 SleepFM과 비교하여, SleepFM-2는 질병 예측 및 수면 점수 측정을 개선하고, 각성(arousal), 사지 운동 및 호흡 이벤트 탐지를 지원하며, 웨어러블 센싱과 주관적 수면 표현형(phenotypes)으로 전이(transfer)됩니다. SleepFM-2의 PSG 표현(representation)을 연령, 성별, BMI와 결합한 모델은 사전학습 중 접하지 않은 한 의료 시스템을 포함한 두 개의 비공개(held-out) 코호트에서 이후 기록된 188개 전자의무기록(EHR) 표현형에 대해 사전 지정된 변별력 및 유의성 기준을 충족했습니다. 또한 SleepFM-2는 동일한 기록에서 도출된 480개 특징(feature) 기준선(baseline) 모델을 능가했습니다. 이 질병 점수는 감소된 시그마 대역 공간 결합 및 증가된 수면밀도(hypnodensity) 엔트로피와 연관된 재현 가능한 주성분을 드러냈습니다. 동결된 인코더(frozen encoder)는 수면 이벤트에 대해 전문가 채점자의 관찰된 범위 내에서 작동했으며, 각성 중 뇌파(EEG), 헤드밴드 및 인이어 EEG, 손목 PPG 및 손목 가속도계 데이터로 전이되었습니다. 또한 6개 가속도계 코호트 전반에서 수면 단계 분류(sleep staging)를 개선했으며, UK Biobank에서 가속도계 데이터로 직접 사전학습된 모델과 유사한 질병 예측 성능을 달성했습니다. 마지막으로 SleepFM-2는 기존 PSG 요약으로는 포착되지 않던 주관적 수면의 측면, 특히 기록된 밤에 대한 보고 내용을 포착했습니다. 이러한 결과는 다중모달 수면 생리학이 질병, 임상 작업, 센서 및 주관적 경험 전반에 걸쳐 인간 건강에 대한 전이 가능한 표현을 제공할 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.