arXiv:2310.03747

A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation

Weining Weng, Yang Gu, Qihui Zhang, Yingying Huang, Chunyan Miao, Yiqiang Chen

제출 2023-09-21

원문 초록

Due to the abundant neurophysiological information in the electroencephalogram (EEG) signal, EEG signals integrated with deep learning methods have gained substantial traction across numerous real-world tasks. However, the development of supervised learning methods based on EEG signals has been hindered by the high cost and significant label discrepancies to manually label large-scale EEG datasets. Self-supervised frameworks are adopted in vision and language fields to solve this issue, but the lack of EEG-specific theoretical foundations hampers their applicability across various tasks. To solve these challenges, this paper proposes a knowledge-driven cross-view contrastive learning framework (KDC2), which integrates neurological theory to extract effective representations from EEG with limited labels. The KDC2 method creates scalp and neural views of EEG signals, simulating the internal and external representation of brain activity. Sequentially, inter-view and cross-view contrastive learning pipelines in combination with various augmentation methods are applied to capture neural features from different views. By modeling prior neural knowledge based on homologous neural information consistency theory, the proposed method extracts invariant and complementary neural knowledge to generate combined representations. Experimental results on different downstream tasks demonstrate that our method outperforms state-of-the-art methods, highlighting the superior generalization of neural knowledge-supported EEG representations across various brain tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13918v1cs.NE공통 태그 EEG, Electroencephalogram (EEG)

DyssomniaNN: 인간 수면 장애 및 인지된 피로 회복도에 대한 다중 스케일 스파이킹 신경 모델링

DyssomniaNN: Multi-Scale Spiking Neural Modeling of Human Sleep Disorders and Perceived Restedness

임상 수면 의학에서는 객관적인 수면 시간과 주관적인 주간 기능 장애 사이의 심각한 불일치가 반복적으로 보고되며, 이는 역설적 불면증의 수면 상태 오인과 제1형 기면증의 경계 불안정성에서 두드러지게 나타납니다. 본 논문에서는 수면 항상성과 일주기성 추동(circadian drive)에 대한 Borbély의 2과정 조절 모델, Saper의 시상하부 상호 플립플롭 회로, 그리고 순환 피질시상 누적-발화(LIF, leaky integrate-and-fire) 스파이킹 신경망(neural network)을 결합한 다중 스케일 생물물리학적 계산 프레임워크인 DyssomniaNN을 제시합니다. 연구진은 동일한 72시간 광주기 하에서 건강한 대조군, 일주기 리듬 수면-각성 장애(지연 위상형), 만성 불면증, 역설적 불면증, 제1형 기면증 등 5개 임상 코호트를 공식화합니다. 합성 국소 장전위(local field potential)는 모든 표준 주파수 대역에서 PhysioNet Sleep-EDF 데이터베이스의 실제 인간 뇌파(EEG) 스펙트럼과 밀접하게 일치합니다(스펙트럼 평균 절대 오차 0.33--0.35). 나아가 회복 효능을 정량화하기 위해 휴식 지수(Well-Rested Index)를 도입합니다. 시뮬레이션 결과 수면 시간은 피로 회복을 예측하지 못하는 것으로 나타났습니다. 역설적 불면증은 정상적인 총 수면 시간(21.15시간)을 보이지만 억제되지 않은 피질 베타 대역의 침투로 인해 낮은 회복률(37.6%)을 보였으며, 반면 기면증의 히포크레틴 결핍은 심각한 야간 분절(수면 개시 후 각성 시간 781분)과 35회의 입면 시 렘수면(SOREMP)을 초래합니다. DyssomniaNN은 기전적 수면 연구 및 가상 신경약리학을 위한 인 실리코(in silico) 플랫폼을 제공합니다.

arXiv:2609.31698v2cs.CV공통 태그 EEG, Electroencephalogram (EEG)

RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터

RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG

기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.

arXiv:2607.21384v1cs.AI공통 태그 EEG, Contrastive Learning

일반화 가능한 EEG 표현 학습을 위한 멀티모달 사전학습

Multimodal Pretraining for Generalizable EEG Representation Learning

간질(epilepsy)에 사용되는 뇌전도(EEG) 모델은 특정 데이터셋과 태스크에 한정되는 경우가 많다. 이러한 제한적 접근은 서로 다른 데이터셋이나 다양한 상황에 모델을 적용하기 어렵게 만들 수 있다. 그러나 파운데이션 모델(foundation model)과 자기지도 학습(self-supervised learning)에 관한 최근 연구들은, 적응 가능한 EEG 백본(backbone)이 다양한 EEG 관련 태스크를 지원할 수 있음을 시사한다. 본 연구에서는 Mamba 아키텍처 기반의 원시 신호 인코더, 시-주파수(time-frequency) 데이터용 Vision Transformer(ViT) 스타일 인코더, 텍스트용 경량 인코더를 공유 임베딩 공간 내에서 결합한 멀티모달 EEG 파운데이션 모델을 개발했다. 사전학습 과정은 마스크드 모델링(masked modeling), 교차 뷰(cross-view) 대조 정렬(contrastive alignment), 시간적 일관성 손실(temporal consistency loss) 등 여러 혁신적 기법에 기반한다. 이러한 방법들은 레이블 데이터 없이 풍부하고 발작(seizure) 관련 표현을 생성하도록 설계되었다. 사전학습된 모델의 효과와 일반화 성능을 평가하기 위해 표준 CHB-MIT 발작 검출 벤치마크와 추가 발작 검출 데이터셋에서 파인튜닝(fine-tuning)을 수행하고, 다양한 모델 변형을 비교하는 광범위한 실험을 진행했다. 표준 CHB-MIT 분할(split)에서 최고의 단일 모델은 AUROC 0.874를, 앙상블 변형은 AUROC 0.878을 달성하여 이 벤치마크에서 최첨단(state-of-the-art) 성능을 나타냈다. 표준 train-test 분할 외에도, 기존 EEG 발작 모델링 연구에서 드물게 보고되는 leave-one-subject-out(LOSO) 프로토콜 하에서 성능을 평가했으며, 이는 환자 독립적(patient-independent) 발작 검출의 어려움을 부각한다. 19명의 피험자에 걸친 평균 LOSO 균형 정확도(balanced accuracy)는 0.558이었다. 데이터셋과 평가 설정 전반에 걸쳐, 우리의 멀티모달 파운데이션 모델은 견고한 발작 검출과 새로운 발작 검출 시나리오로의 간편한 적응을 가능하게 했으며, 해석 가능한 발작 국소화(seizure localization)도 지원했다.

arXiv:2607.07720v2cs.LG공통 태그 EEG, Contrastive Learning

Omni-Sleep: 중추신경계-자율신경계 동역학의 계층적 대조 학습을 통한 수면 파운데이션 모델

Omni-Sleep: A Sleep Foundation Model via Hierarchical Contrastive Learning of CNS-ANS Dynamics

수면 생리학은 EEG, EOG, EMG, ECG, 호흡을 포함한 다중 모달 다원수면검사(polysomnography) 신호에 반영되는 바와 같이, 중추신경계(CNS)와 자율신경계(ANS)의 협응적 동역학으로부터 발생한다. 그러나 기존의 수면 파운데이션 모델들은 이종 생체신호를 토폴로지를 고려하지 않는 방식으로 융합하는 경우가 많아, 그 생리학적 구조를 간과한다. 우리는 CNS/ANS 분할을 토폴로지 제약 표현 학습의 생리학적 사전 정보(prior)로 활용하는 수면 파운데이션 모델 Omni-Sleep을 제안한다. Omni-Sleep은 세 가지 목적함수를 통해 구조화된 표현을 학습한다: 신경 신호 및 심폐 신호 내 하위 시스템 수준의 공유 요인을 포착하는 시스템 내 일관성(intra-system consistency), 뇌-신체 동역학을 모델링하기 위해 하위 시스템 궤적을 정렬하는 시스템 간 동기화(inter-system synchronization), 그리고 장기적 수면 동역학을 포착하는 잠재 공간 마스크 시계열 모델링(latent-space masked temporal modeling)이다. 100,000시간 이상의 다기관 다중 모달 PSG 데이터로 사전학습된 Omni-Sleep은 수면 단계 분류(sleep staging) 및 다중 질환 분류 태스크에서 평가되었다. 다양한 데이터셋과 모달리티 절제(ablation) 설정에서 Omni-Sleep은 강력한 파운데이션 모델 베이스라인을 능가하며, 레이블 효율성, 교차 데이터셋 일반화, 누락 모달리티에 대한 강건성이 향상됨을 보인다. 이러한 결과는 일반화 가능한 수면 표현 학습에서 생리학적 계층 구조의 가치를 부각시킨다. 코드는 https://github.com/AutoBrain-sleep/OmniSleep 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.