CLASH: Contrastive learning through alignment shifting to extract stimulus information from EEG
원문 초록
Stimulus-evoked EEG data has a notoriously low signal-to-noise ratio and high inter-subject variability. We propose a novel paradigm for the self-supervised extraction of stimulus-related brain response data: a model is trained to extract similar information between two time-aligned segments of EEG in response to the same stimulus. The extracted information can subsequently be used to obtain better results in downstream tasks that utilize the response to the stimulus. We show the efficacy of our method for a downstream task of decoding the speech envelope from auditory EEG. Our method outperforms other state-of-the-art denoising techniques, improving reconstruction scores by 45\%. Additionally, we show that in contrast to the baseline denoising techniques, our method can be used with data of unseen subjects and stimuli without retraining, improving decoding performance by 19\% and 34\% over raw EEG for two holdout datasets. Finally, the last experiment reveals that the accuracies obtained in the CLASH paradigm are significantly correlated with the percentile of obtained reconstruction correlation on the null distribution. In general, we showed that the proposed paradigm is suitable to train deep learning models to extract stimulus information from EEG while being stimulus feature agnostic.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EEG-based Emotion Recognition via Efficient Convolutional Neural Network and Contrastive Learning
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
뇌전도(EEG)는 진행 중인 신경 활동을 비침습적으로 측정하지만, 피험자, 장치, 전극 배치의 이질성 때문에 범용 EEG 모델을 구축하는 일은 여전히 어렵다. 기존 EEG 파운데이션 모델은 신경 성분과 비신경 성분을 모두 포함하는 관측 신호에 정의된 복원 기반 목적 함수에 주로 의존한다. 본 연구는 잠재 공간에서 예측하기 위해 결합 임베딩 예측 아키텍처(JEPA)를 채택한 EEG 파운데이션 모델인 구면 사전 분포 EEG 표현 아키텍처(Spherical Prior EEG Representation Architecture, SPERA)를 소개한다. SPERA는 다양한 두피 전극 기하 구조를 인코딩하기 위해 어텐션에 통합된 르장드르 다항식 공간 사전 분포를 도입한다. 모델을 EEG에 맞추는 두 가지 추가 구성요소로, 주기적인 전체 어텐션 블록과 교차 배치된 시간·공간 분해 어텐션, 그리고 잠재 유사도 구조를 스펙트럼 뷰와 정렬하는 관계형 스펙트럼 정규화기가 있다. 106개 데이터셋, 29,048명의 피험자로부터 얻은 약 80,000시간의 EEG로 사전 학습한 SPERA는 임상, 인지, BCI 응용에 걸친 9개 다운스트림 과제에서 가장 높은 평균 균형 정확도를 달성한다. 또한 SPERA는 선형 프로빙에서 강한 파라미터 효율성을, 다양한 녹화 조건에서 강건성을 보여, 다양한 EEG 분석을 위한 범용 백본으로서의 잠재력을 시사한다.
DyssomniaNN: 인간 수면 장애 및 인지된 피로 회복도에 대한 다중 스케일 스파이킹 신경 모델링
DyssomniaNN: Multi-Scale Spiking Neural Modeling of Human Sleep Disorders and Perceived Restedness
임상 수면 의학에서는 객관적인 수면 시간과 주관적인 주간 기능 장애 사이의 심각한 불일치가 반복적으로 보고되며, 이는 역설적 불면증의 수면 상태 오인과 제1형 기면증의 경계 불안정성에서 두드러지게 나타납니다. 본 논문에서는 수면 항상성과 일주기성 추동(circadian drive)에 대한 Borbély의 2과정 조절 모델, Saper의 시상하부 상호 플립플롭 회로, 그리고 순환 피질시상 누적-발화(LIF, leaky integrate-and-fire) 스파이킹 신경망(neural network)을 결합한 다중 스케일 생물물리학적 계산 프레임워크인 DyssomniaNN을 제시합니다. 연구진은 동일한 72시간 광주기 하에서 건강한 대조군, 일주기 리듬 수면-각성 장애(지연 위상형), 만성 불면증, 역설적 불면증, 제1형 기면증 등 5개 임상 코호트를 공식화합니다. 합성 국소 장전위(local field potential)는 모든 표준 주파수 대역에서 PhysioNet Sleep-EDF 데이터베이스의 실제 인간 뇌파(EEG) 스펙트럼과 밀접하게 일치합니다(스펙트럼 평균 절대 오차 0.33--0.35). 나아가 회복 효능을 정량화하기 위해 휴식 지수(Well-Rested Index)를 도입합니다. 시뮬레이션 결과 수면 시간은 피로 회복을 예측하지 못하는 것으로 나타났습니다. 역설적 불면증은 정상적인 총 수면 시간(21.15시간)을 보이지만 억제되지 않은 피질 베타 대역의 침투로 인해 낮은 회복률(37.6%)을 보였으며, 반면 기면증의 히포크레틴 결핍은 심각한 야간 분절(수면 개시 후 각성 시간 781분)과 35회의 입면 시 렘수면(SOREMP)을 초래합니다. DyssomniaNN은 기전적 수면 연구 및 가상 신경약리학을 위한 인 실리코(in silico) 플랫폼을 제공합니다.
RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터
RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG
기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.
전사에서 의미 코퍼스 분석까지: 고대 언어를 위한 문장 표현의 비지도 학습
From transcription to semantic corpus analysis: unsupervised learning of sentence representations for ancient languages
자동 문자 인식(ATR, Automatic Text Recognition)은 이제 디지털 인문학에 고대 언어의 비구조적이고 이질적이며 종종 노이즈가 많은 대량의 텍스트를 제공한다. 하위 의미 분석—텍스트 재사용 식별, 정렬, 의미 검색—은 문장 임베딩에 의존하지만, 기존 방법은 고대 언어로의 전이가 잘 되지 않는다: 범용 다국어 인코더는 성능이 낮고, 특화 언어 모델은 이방성(anisotropic) 표현 공간을 만들며, 라벨이 붙은 유사도 데이터를 구할 수 없다. 우리는 원문 문장만을 사용하여 특화 토큰 수준 언어 모델을 코퍼스 특화 문장 인코더로 적응시키는 두 가지 완전 비지도 전략—TSDAE와 대조적 문장 임베딩(CSE, contrastive sentence embedding)—을 연구한다. 교부 문헌(patristic literature)에서 성경 재사용이라는 필독학적으로 핵심적인 사례(아우구스티누스, 히에로니무스, 아타나시우스의 라틴어 및 고대 그리스어 전문가 검증 병렬 구문 2,935개)에서, 우리는 재사용 식별을 두 가지 별도 평가 과제—이진 탐지와 대응 검색—로 분해하고, 적응된 인코더를 다국어, 특화, 증류, 지도 미세조정 기준선과 비교 벤치마크하며, HTR(손글씨 문자 인식) 아티팩트와 필사 약어를 시뮬레이션한 인위적 노이즈 데이터에서도 평가한다. 적응된 인코더는 두 과제 모두에서 모든 기준선을 능가하며, 상호 보완적인 특성을 보인다: TSDAE는 대규모 도메인 내 코퍼스가 주어졌을 때 탐지에서 우수하고, CSE는 검색에서 우수하며, 원시 도메인 내 문장 4–8천 개만으로 최적에 도달한다—노트북 GPU에서 수십 초의 학습—그리고 저작물과 저자에 걸쳐 전이되며, ATR 후 노이즈 텍스트에 직접 재학습할 때도 마찬가지다. UMAP 아틀라스는 각 전략의 기하학적 효과를 측정된 성능 향상과 연관 짓고, 전체 파이프라인—분할, 미세조정, 교차 코퍼스 의미 검색—은 온라인 도구 Paraphrasis를 통해 비전문가에게 제공된다.
Speech Imagery BCI Training Using Game with a Purpose
토론
이 논문과 연결된 포럼 글이 아직 없습니다.