arXiv:2603.04840v2 eess.AS

An Approach to Simultaneous Acquisition of Real-Time MRI Video, EEG, and Surface EMG for Articulatory, Brain, and Muscle Activity During Speech Production

Jihwan Lee, Parsa Razmara, Kevin Huang, Sean Foley, Aditya Kommineni, Haley Hsu, Woojae Jeong, Prakash Kumar, Xuan Shi, Yoonjeong Lee, Tiantian Feng, Takfarinas Medani, Ye Tian, Sudarsana Reddy Kadiri, Krishna S. Nayak 외 4명

제출 2026-03-05

원문 초록

Speech production is a complex process spanning neural planning, motor control, muscle activation, and articulatory kinematics. While the acoustic speech signal is the most accessible product of the speech production act, it does not directly reveal its causal neurophysiological substrates. We present the first simultaneous acquisition of real-time (dynamic) MRI, EEG, and surface EMG, capturing several key aspects of the speech production chain: brain signals, muscle activations, and articulatory movements. This multimodal acquisition paradigm presents substantial technical challenges, including MRI-induced electromagnetic interference and myogenic artifacts. To mitigate these, we introduce an artifact suppression pipeline tailored to this tri-modal setting. Once fully developed, this framework is poised to offer an unprecedented window into speech neuroscience and insights leading to brain-computer interface advances. The source code and data are available.

요약

발화 생성 시 뇌 신호(EEG), 표면 EMG, 실시간 MRI(rtMRI)로 조음 운동을 동시에 기록하는 최초의 멀티모달 취득 방식을 제안하고, MRI 유도 전자기 간섭·심박·근전도 아티팩트 등을 줄이기 위한 삼중 모달 아티팩트 억제 파이프라인을 구현했다. 예비 결과에서 주요 잡음이 상당히 감소했으며, 발화 신경과학과 뇌-컴퓨터 인터페이스(BCI) 연구에 활용될 수 있는 데이터와 소스 코드를 공개했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.04840v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10952v1cs.LG공통 태그 EEG, brain-computer interface

SPD-MetaFormer: 소규모 데이터 뇌 신호 디코딩을 위한 효과적인 아키텍처

SPD-MetaFormer is what you need for small-data brain decoding

뇌 신호 디코딩은 신경 기록에 잡음이 많고 개인 간 편차가 큰 반면 레이블이 지정된 데이터는 종종 제한적이기 때문에 어려운 과제입니다. 그럼에도 불구하고 대칭 양의 정부호(SPD) 다양체 기반의 최신 어텐션 모델들은 공분산 및 연결성 표현을 활용하여 우수한 성능을 달성했지만, 학습된 토큰 가중치 부여의 기여도는 여전히 불분명합니다. 본 연구에서는 로그-유클리드 기하학에 기반한 MAtt와 일반화된 뷔르-와서슈타인 기하학에 기반한 GBWAtt라는 두 가지 대표적인 아키텍처를 조사하였으며, 학습 후 이들의 학습된 어텐션 가중치가 균일한 상태에 가깝게 유지된다는 점을 발견했습니다. 이러한 현상은 원래의 소프트맥스 스케일링 하에서 어텐션 가중치의 대비를 제한하는 유계 유사도 파라미터화와 관련이 있습니다. 나아가, 학습 및 평가 전반에 걸쳐 학습된 가중치를 균일 가중치로 대체하더라도 각 모델 고유의 집계 기하학적 구조를 보존하는 한 평균 예측 성능에는 거의 영향을 미치지 않았습니다. 이러한 발견에 착안하여, 로그-유클리드 기하학 하에서 균일 가중치 프레셰 집계를 기반으로 구축된 어텐션-프리 아키텍처인 SPD-MetaFormer를 제안합니다. 이 모델의 백본은 측지선 잔차를 사용하여 요약 토큰을 업데이트하고 공유 스펙트럼 피드포워드 맵을 통해 모든 토큰을 변환한 후, 학습된 가중치 리드아웃을 거칩니다. 토큰 상태는 접공간 분류 이전까지 SPD 값을 유지합니다. 세 가지 EEG 벤치마크에 걸쳐, SPD-MetaFormer는 기존에 발표된 유클리드 및 다양체 베이스라인 대비 경쟁력 있는 결과를 달성합니다. 별도의 정합 재현 실험을 통해 MAtt 및 GBWAtt 내에서 학습된 가중치와 균일 가중치를 비교 검증합니다. 이러한 결과는 연구된 짧은 시퀀스 및 제한된 데이터 환경에서, 신중하게 설계된 SPD 아키텍처가 적응형 다양체 어텐션에 대한 더 단순하면서도 효과적인 대안을 제공할 수 있음을 시사합니다.

arXiv:2609.31698v2cs.CV공통 태그 EEG, brain-computer interface

RPA: EEG 및 MEG 기반 이미지 검색을 위한 잔차 패치-토큰 어댑터

RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG

기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.

arXiv:2610.01124v1cs.AI공통 태그 EEG, brain-computer interface

CortexBridge: 파운데이션 모델을 위한 뇌파 몽타주의 대뇌 피질 정렬

CortexBridge: Cortical Alignment of EEG Montages for Foundation Models

뇌파(EEG) 파운데이션 모델은 고정된 채널 어휘나 제한된 몽타주(montage) 집합으로 사전학습되는 경우가 많아, 전극 배치가 바뀔 때 전이(transfer)가 어렵습니다. 본 연구에서는 임의의 몽타주를 공유된 대뇌 피질 잠재 공간으로 매핑하기 위해 EEG 특징을 전극 및 아틀라스 좌표와 결합하는 경량 어댑터인 CortexBridge를 제안합니다. MOABB(Mother of All BCI Benchmarks)의 5개 뇌-컴퓨터 인터페이스(BCI) 데이터셋에서 동결된(frozen) 3개의 파운데이션 모델로 평가한 결과, CortexBridge는 15개 평가 중 13개에서 성능을 향상시켰습니다. 균형 정확도(balanced accuracy)의 평균 향상폭은 EEGPT에서 0.80%, LaBraM에서 0.70%, CBraMod에서 3.26%였으며, 12개 클래스 정상상태 시각유발전위(SSVEP) 분류에서는 최대 13.02% 향상되었습니다. 학습된 아틀라스 표현을 시각화한 결과 태스크 의존적인 공간 패턴이 드러났으며, SSVEP는 청각 P300에 비해 Yeo 시각 네트워크에서 더욱 집중된 표현을 보였습니다. 이러한 결과는 피질 정렬(cortical alignment)이 이종 EEG 몽타주에서 사전학습된 파운데이션 모델로 향하는, 학습 가능하며 해부학적 근거를 갖춘 라우팅 메커니즘임을 입증합니다.

arXiv:2609.27650v1cs.CL공통 태그 EEG, brain-computer interface

뇌-언어 디코딩: 태스크, 신호, 방법론, 평가, 실질적 활용 및 그 너머

Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond

뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.