fMRI로부터 시각적 경험을 디코딩하는 것은 인간의 지각을 이해하고 뇌-컴퓨터 인터페이스(BCI)를 개발하는 데 중요합니다. 최근의 생성형 디코딩 방법들은 그럴듯한 이미지와 비디오를 재구성할 수 있지만, 시각적 개연성만으로는 출력이 뇌 활동에 충실하게 그라운딩(grounding)되었음을 보장하지 못합니다. 본 연구에서는 정적 이미지와 동적 비디오 재구성 모두를 위한 시각 경로(visual-stream) fMRI 재구성 프레임워크인 Neurons++를 제안합니다. 학술대회 버전인 Neurons와 비교하여, Neurons++는 비디오 전용 재구성 패러다임을 이미지와 비디오 모두를 위한 시각 경로 재구성으로 확장하며, 병렬 작업 컨디셔닝을 대뇌 피질에서 영감을 받은 직렬 디코딩으로 대체합니다. 이 모델은 먼저 안정적인 공간-의미론적 초기화를 얻기 위해 이미지-fMRI 사전학습을 사용한 다음, 이미지 및 비디오 재구성을 위해 피험자별 미세조정을 각각 수행합니다. 이러한 직렬 설계는 fMRI 유래 표현을 명시적인 공간적, 의미론적, 언어 수준 및 시간적 단서로 구성합니다. 광범위한 실험을 통해 Neurons++가 표준 벤치마크 전반에서 최고 수준의 비디오 재구성과 경쟁력 있는 이미지 재구성 성능을 달성함을 보여줍니다. 재구성 충실도를 넘어, 신경-시각 분석에 따르면 Neurons++는 신경 섭동 하에서 정성적인 방향성 제어 가능성을 나타내며, fMRI 인코더 판독이 자극 관련 피질 특징에 민감하고, 관심 영역(ROI) 유도 의미론적 조절을 지원함을 보여줍니다. 코드와 모델 가중치는 https://github.com/xmed-lab/NeuronsPlusPlus 에서 확인할 수 있습니다.
뇌 신호 디코딩은 신경 기록에 잡음이 많고 개인 간 편차가 큰 반면 레이블이 지정된 데이터는 종종 제한적이기 때문에 어려운 과제입니다. 그럼에도 불구하고 대칭 양의 정부호(SPD) 다양체 기반의 최신 어텐션 모델들은 공분산 및 연결성 표현을 활용하여 우수한 성능을 달성했지만, 학습된 토큰 가중치 부여의 기여도는 여전히 불분명합니다. 본 연구에서는 로그-유클리드 기하학에 기반한 MAtt와 일반화된 뷔르-와서슈타인 기하학에 기반한 GBWAtt라는 두 가지 대표적인 아키텍처를 조사하였으며, 학습 후 이들의 학습된 어텐션 가중치가 균일한 상태에 가깝게 유지된다는 점을 발견했습니다. 이러한 현상은 원래의 소프트맥스 스케일링 하에서 어텐션 가중치의 대비를 제한하는 유계 유사도 파라미터화와 관련이 있습니다. 나아가, 학습 및 평가 전반에 걸쳐 학습된 가중치를 균일 가중치로 대체하더라도 각 모델 고유의 집계 기하학적 구조를 보존하는 한 평균 예측 성능에는 거의 영향을 미치지 않았습니다. 이러한 발견에 착안하여, 로그-유클리드 기하학 하에서 균일 가중치 프레셰 집계를 기반으로 구축된 어텐션-프리 아키텍처인 SPD-MetaFormer를 제안합니다. 이 모델의 백본은 측지선 잔차를 사용하여 요약 토큰을 업데이트하고 공유 스펙트럼 피드포워드 맵을 통해 모든 토큰을 변환한 후, 학습된 가중치 리드아웃을 거칩니다. 토큰 상태는 접공간 분류 이전까지 SPD 값을 유지합니다. 세 가지 EEG 벤치마크에 걸쳐, SPD-MetaFormer는 기존에 발표된 유클리드 및 다양체 베이스라인 대비 경쟁력 있는 결과를 달성합니다. 별도의 정합 재현 실험을 통해 MAtt 및 GBWAtt 내에서 학습된 가중치와 균일 가중치를 비교 검증합니다. 이러한 결과는 연구된 짧은 시퀀스 및 제한된 데이터 환경에서, 신중하게 설계된 SPD 아키텍처가 적응형 다양체 어텐션에 대한 더 단순하면서도 효과적인 대안을 제공할 수 있음을 시사합니다.
기존의 대다수 MEG 및 EEG(M/EEG) 시각 디코딩 방식은 뇌 신호를 사전학습된 시각 인코더에서 추출한 단일 글로벌 임베딩과 정렬(alignment)하므로, 더 풍부하고 세분화된 시각 정보를 보존하는 중간 패치 표현이 표현 학습(representation learning)을 향상시킬 수 있는지는 미지의 영역으로 남아 있었습니다. 이러한 의문을 해결하기 위해, 본 논문에서는 정렬을 위해 ViT 시각 인코더 중간 층의 모든 패치 토큰을 활용하는 경량 모듈형 어댑터인 RPA(Residual Patch Adapter)를 제안합니다. 광범위한 소거 연구(ablation study)를 통해, 먼저 패치 토큰을 풀링하거나 마스킹하면 학습된 표현의 성능이 저하됨을 확인하였으며, 이는 패치 토큰 전체를 유지하는 것이 EEG 정렬에 중요하고 CLS 토큰은 고유한 정보를 거의 제공하지 못함을 보여줍니다. 이어서 일련의 6가지 정량적 특징 분석을 통해, 색상 및 질감을 포함한 저수준 시각 특징과 고수준 의미론적 정보 모두가 이러한 EEG-이미지 정렬에 필수적임을 밝힙니다. 현재의 프로토콜 기준, 본 시스템은 THINGS-EEG2 데이터셋에서 피험자 내(within-subject) 95.4%, 피험자 간(cross-subject) 35.5%의 Top-1 정확도를 기록하고, THINGS-MEG 데이터셋에서는 각각 65.2%와 6.7%를 기록하여 두 데이터셋 모두에서 최고 성능(SOTA)을 달성했습니다. 사전학습된 EEG 파운데이션 모델을 비롯한 대안적 뇌 인코더를 활용한 평가는 본 접근법이 단순 투영 기반 EEG 인코더를 넘어 확장될 수 있음을 보여줍니다. 나아가, RPA를 합성곱, 어텐션 또는 ConvNeXt 대안 구조로 교체할 수 있는 플러그 앤 플레이 인터페이스를 제공합니다. 종합적으로 이러한 결과는 시각 인코더의 잠재 공간(latent space)을 활용하기 위한 설계 원칙을 정립함으로써 M/EEG-이미지 표현 학습에 대한 중요한 통찰을 제시하며, 뇌-이미지 정렬 및 비침습적 뇌-컴퓨터 인터페이스(BCI)를 위한 새로운 방향을 제시합니다.
스파이크 활동(spike activity)은 높은 시공간 해상도를 통해 정확한 디코딩을 지원하므로 행동 디코딩을 위한 지배적인 신경 신호로 활용되어 왔습니다. 그러나 피질 내 뇌-컴퓨터 인터페이스(iBCI)가 더 많은 채널 수와 무선 작동을 지향함에 따라, 스파이크 기록에 필요한 높은 샘플링 레이트는 상당한 전력 및 대역폭 수요를 발생시킵니다. 국소 장 전위(LFP, local field potential)는 더 뛰어난 장기적 안정성, 더 낮은 에너지 소비 및 더 낮은 대역폭 요구 사항 등 상호 보완적인 이점을 제공합니다. 그러나 LFP 기반 디코더는 종종 더 낮은 정확도를 보이며, 실시간 배포에 직접 사용할 수 없는 비인과적(non-causal) 아키텍처에 의존합니다. 본 논문에서는 인과적 LFP 행동 디코딩을 위한 회고적 지식 증류(RKD) 프레임워크인 REALM을 제안합니다. 음성 인식의 오프라인-온라인 증류에서 영감을 얻은 REALM은 사전학습된 다중 세션 양방향 LFP 교사 모델의 비인과적 표현 지식을 인과적 학생 모델로 전달합니다. 먼저 연속 마스크 오토인코딩(CMAE)을 사용하여 여러 기록 세션에 걸쳐 양방향 Mamba-2 교사 모델을 사전학습한 다음, 표현 정렬과 오토인코딩의 결합된 목적 함수를 사용하여 해당 표현을 소형 인과적 학생 모델로 증류합니다. REALM은 레이블이 없는 파이프라인과 파인튜닝 파이프라인 모두에서 비교 대상 디코더 중 가장 높은 평균 정확도를 달성하며, SOTA(최첨단) CrossModalDistill을 포함한 각 기준선 대비 통계적으로 유의미한 향상을 보여줍니다. 또한 사전학습, 지식 증류 및 디코딩 전반에 걸쳐 LFP만을 사용하면서도 CrossModalDistill에 공개된 학생 모델 파라미터의 절반 미만과 10분의 1 수준의 사전학습 시간만으로 이를 달성합니다. 이러한 결과는 인과적 LFP 전용 모델이 비인과적 다중 모달(multi-modal) 모델과 경쟁할 수 있는 디코딩 정확도를 달성할 수 있음을 보여주며, 차세대 무선 및 이식형 iBCI를 위한 실용적이고 확장 가능한 접근 방식을 제공합니다.
뇌파(EEG) 파운데이션 모델은 고정된 채널 어휘나 제한된 몽타주(montage) 집합으로 사전학습되는 경우가 많아, 전극 배치가 바뀔 때 전이(transfer)가 어렵습니다. 본 연구에서는 임의의 몽타주를 공유된 대뇌 피질 잠재 공간으로 매핑하기 위해 EEG 특징을 전극 및 아틀라스 좌표와 결합하는 경량 어댑터인 CortexBridge를 제안합니다. MOABB(Mother of All BCI Benchmarks)의 5개 뇌-컴퓨터 인터페이스(BCI) 데이터셋에서 동결된(frozen) 3개의 파운데이션 모델로 평가한 결과, CortexBridge는 15개 평가 중 13개에서 성능을 향상시켰습니다. 균형 정확도(balanced accuracy)의 평균 향상폭은 EEGPT에서 0.80%, LaBraM에서 0.70%, CBraMod에서 3.26%였으며, 12개 클래스 정상상태 시각유발전위(SSVEP) 분류에서는 최대 13.02% 향상되었습니다. 학습된 아틀라스 표현을 시각화한 결과 태스크 의존적인 공간 패턴이 드러났으며, SSVEP는 청각 P300에 비해 Yeo 시각 네트워크에서 더욱 집중된 표현을 보였습니다. 이러한 결과는 피질 정렬(cortical alignment)이 이종 EEG 몽타주에서 사전학습된 파운데이션 모델로 향하는, 학습 가능하며 해부학적 근거를 갖춘 라우팅 메커니즘임을 입증합니다.
뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.
고속 신경 원격측정(neural telemetry)에는 회로 분할, 파형 매핑, 패킷 처리, 장애 의미론(failure semantics)이 서로 일관된 이식체-웨어러블 링크가 필요하다. 본 논문은 이식된 패킷 엔진과 자유 구동(free-running) 송신기, 조직 대리(tissue-proxy) 채널, 웨어러블 혼합 신호(mixed-signal) 수신기 및 디지털 기저대역(digital baseband)으로 구성된 칩 지향(chip-oriented) 단방향 임펄스 라디오 초광대역(IR-UWB) 업링크를 명세한다.
운동 상상(MI) 기반 뇌전도(EEG)는 비침습적 뇌-컴퓨터 인터페이스(BCI)에서 널리 사용되지만, 피험자 간 변이성과 세션 간 비정상성으로 인해 강건한 디코딩은 여전히 어려운 과제이다. 본 연구는 MI 디코딩을 위한 채널-공간 특징 표현을 개선하기 위해 경량 채널 통합 어텐션 모듈(CIAM)을 ATCNet 프레임워크에 통합한 향상된 어텐션 시간 합성곱 네트워크인 ATCNet-CIAM을 제안한다. 제안 모델은 BCI Competition IV-2a, BCI Competition IV-2b, 다일 WBCIC-MI 데이터셋에 대해 표준, 세션 내(within-session), 세션 간(cross-session) 프로토�ols 하에서 평가되었다. 실험 결과, 표준 프로토콜에서 ATCNet-CIAM은 BCI IV-2a에서 86.32%, BCI IV-2b에서 87.96%의 정확도를 달성했으며, 세션 내 WBCIC-MI에서 2C와 3C 각각 89.46%와 83.64%에 도달했다. 제안 프레임워크는 세션이 변하는 조건에서 분류 안정성과 강건성을 일관되게 향상시키며, ablation study는 제안된 아키텍처 구성 요소들의 상보적 기여를 확인한다.
기능적 자기공명영상(fMRI) 기반 실시간 폐쇄루프(closed-loop) 신경 피드백(neurofeedback)은 중요한 과학적·임상적 진전을 이끌어 왔다. 그러나 실시간 fMRI에 사용되는 분석 방법의 정교함은 fMRI 디코딩(decoding) 분야의 최신 기술(state-of-the-art)에 비해 뒤처져 있으며, 이는 주로 계산적 요인 때문이다. 대부분의 고급 디코딩 파이프라인은 실시간 처리 제약 범위 내에 들어가지 못하는데, 실시간 처리에서는 분석이 수 초 이내에 수행되어야 하고 세션 후반에 수집된 데이터를 활용할 수 없기 때문이다. 본 연구에서는 지각된 자연 이미지를 재구성하는 계산 집약적 최신 파이프라인(MindEye2)의 실시간 호환 적응 버전을 제시하고, 이 설정에서도 신뢰할 수 있는 세밀한(fine-grained) 디코딩이 여전히 가능함을 보여준다. 오픈소스 확장 가능 클라우드 기반 플랫폼 RT-Cloud를 사용하여 실시간 스캔을 수행했으며, 참가자에게 이미지가 제시된 후 수 초 이내에 단일 시행(single-trial) 시각 지각을 디코딩했다. 마지막으로 시뮬레이션 분석을 통해 오프라인에서 실시간 분석으로 전환할 때 성능 변화를 유발하는 요인들을 문서화했다. 본 연구는 이러한 강력한 fMRI 디코딩 파이프라인을 실시간 분석에 배치하는 것이 실현 가능함을 개념 증명(proof-of-concept)으로 제시하며, 과학적 발견과 임상 치료를 위한 뇌-컴퓨터 인터페이스(brain-computer interface) 활용의 길을 연다.
본 논문은 인공지능(AI)을 통합한 뇌-컴퓨터 인터페이스(BCI) 기반 휠체어 개발 접근법을 제시하며, 제어를 위해 좌우 손 운동 상상 메커니즘을 활용한다. 이 시스템은 뇌전도(EEG) 데이터를 이용하여 좌우 손 운동 상상에 기반한 휠체어 내비게이션을 시뮬레이션하도록 설계되었다. 오픈소스 EEG 저장소에서 획득한 사전 필터링된 데이터셋을 손 움직임의 개시 시점을 포착하기 위해 19×200 배열로 분할하였다. 데이터는 200Hz의 샘플링 주파수로 수집되었다. 이 시스템은 Tkinter 기반 인터페이스를 통합하여 휠체어 이동을 시뮬레이션하며, 사용자에게 기능적이고 직관적인 제어 시스템을 제공한다. 운동 상상 EEG 분류를 위해 트랜스포머 기반 심층 학습 아키텍처인 TFormerEEG를 제안한다. 해당 모델은 XGBoost, EEGNet, EEG-Deformer 모델을 포함한 다양한 머신러닝 기준선 모델과 비교하여 93.04%의 테스트 정확도를 달성한다. TFormerEEG는 계층화 교차검증을 통해 평균 정확도 91.18%를 달성하여, 이 모델의 효과를 보여준다.
강건하고 정확한 신경 디코더는 뇌-컴퓨터 인터페이스 및 폐루프(closed-loop) 실험과 같은 신경기술에 필수적이다. 최근 연구는 스파이크(spike) 수준에서 신경 데이터를 토큰화(tokenization)하면 다중 세션 사전학습(pre-training)을 용이하게 하고 최첨단 디코딩 성능을 달성함을 보여주었다. 그러나 현재 스파이크 기반 모델은 지도 학습(supervised learning, SL)에 국한되어, 행동 라벨이 쌍으로 제공된 데이터셋에서만 학습이 가능하다. 이 한계를 해결하기 위해, 우리는 마스크 오토인코더 기반 공동 학습(MOJO, Masked autOencoder-based JOint training)을 제안한다. 이는 마스크 오토인코딩을 통한 자기지도 학습(self-supervised learning, SSL)과 SL 목적 함수를 공동으로 활용하는 스파이크 토큰화 모델용 학습(training) 프레임워크이다. 우리는 도달 과제(reaching task) 중 원숭이 운동 피질과 시각 및 의사결정 과제 중 다중 영역 쥐 기록을 아우르는 세 개의 스파이킹 데이터셋에서 MOJO를 평가하였으며, 순수 SL로 학습된 모델보다 우수한 성능을 보였다. 이 개선은 라벨이 제한된 데이터로 학습할 때, 특히 새 세션에서 소량의 라벨 데이터만 사용 가능한 퓨샷(few-shot) 파인튜닝(fine-tuning)에서 두드러진다. SSL을 통합하면 더 해석 가능한 뉴런 표현이 형성되어, 해당 과제를 명시적으로 최적화하지 않았음에도 뇌 영역 분류(classification) 및 스파이크 통계 예측 성능이 향상된다. 또한 MOJO가 스파이킹 데이터를 넘어 음성 중 인간 피질전기도(electrocorticography)에도 일반화되며, 순수 SL로 학습된 모델을 계속 능가하고 연속 신호용으로 특별히 설계된 신경 기초 모델(neuro-foundation model, NFM)과 견줄 만한 성능을 달성함을 보인다. 전반적으로 스파이크 토큰화 모델에 SSL을 보강하면 라벨이 부족한 설정에서 성능이 개선되고, 다양한 과제와 종(species)에 걸쳐 라벨 없는 데이터를 활용할 수 있으며, 다른 신경 양식(modality)으로도 일반화된다. 이러한 결과는 NFM 학습 시 더 유연하고 확장 가능한 데이터 활용 방향을 제시한다.
운동 상상(motor imagery, MI) 중 획득한 뇌전도(electroencephalogram, EEG) 신호의 분류는 운동 장애 환자를 위한 의사소통 보조 및 재활 지원 등 상당한 응용 잠재력을 지닌다. 이러한 신호는 본질적으로 생리학적 아티팩트(예: 눈 깜박임, 삼킴)에 취약하며, 이는 지속적인 과제를 제기한다. EEG 신호 분류를 위한 트랜스포머 기반 접근법이 널리 채택되었지만, 종종 그 안의 세밀한 종속 관계를 포착하는 데 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 시간, 공간, 주파수 영역에 걸친 EEG 신호의 통합적 종속 관계를 포착하도록 깊은 상태 공간 모델을 확장한 새로운 아키텍처인 Cortical-SSM을 제안한다. 우리는 50명 이상의 피험자를 포함하는 두 개의 대규모 공개 MI EEG 데이터셋에서 방법을 검증했다. 우리의 방법은 두 벤치마크 모두에서 기준선 방법들을 능가했다. 또한, 모델에서 도출한 시각적 설명은 EEG 신호의 신경생리학적으로 관련 있는 영역을 효과적으로 포착함을 나타낸다. 이러한 결과는 Cortical-SSM이 MI EEG 디코딩을 위한 어텐션 기반 아키텍처에 대한 견고하고 해석 가능한 대안을 제공함을 시사한다. 생리학적으로 근거 있는 특징 학습을 가능하게 함으로써, 우리의 방법은 피험자 독립적 EEG 분류의 신뢰성을 향상시키고 실용적이며 임상적으로 배포 가능한 뇌-컴퓨터 인터페이스(brain-computer interface) 시스템의 개발을 지원한다.
저전력 이벤트 기반 아날로그 프론트엔드(AFE)는 효율적인 종단 간(end-to-end) 뉴로모픽 신호 처리 시스템 구축에 필수적이다. 본 논문에서는 생체의학 신호 취득 및 인코딩에 최적화된 이벤트 기반 AFE 응용 특화 집적 회로(ASIC)를 제안한다. 해당 칩은 32개의 독립적으로 프로그래밍 가능한 입력 채널을 갖추며, 펄스 주파수 변조(PFM) 및 적응형 비동기 델타 변조기(aADM) 회로로 구성된 이중 모드 인코딩 메커니즘 출력을 제공한다. aADM 인코더는 입력 신호 포락선에 따라 실시간으로 인코딩 데이터율을 조절하는 자동 스케일링 메커니즘을 제공하여, 저전력 정보 전송을 위한 매우 높은 데이터 압축을 가능하게 한다. 이 접근법은 뇌-컴퓨터 인터페이스(BCI)에서의 온라인 처리를 위한 신경 신호의 적응형 무선 통신으로 나아가는 길을 연다. 180 nm CMOS 공정으로 제작된 제안 ASIC는 최신 스파이킹 신경망(SNN) 뉴로모픽 프로세서와 호환되는 고도로 구성 가능한 인터페이스를 제공한다.
EEG-이미지 평가는 시각적 충실도와 복원 가능한 의미를 구분해야 한다. 그러나 EEG 기반 재구성은 흐릿하고 왜곡되며 세부 정보가 부족해, SSIM, LPIPS, CLIP이 의미적으로 복원 가능한 출력을 불이익 주거나 그럴듯하지만 잘못된 출력에 보상을 줄 수 있다. 우리는 ATM, ENIGMA, BrainVis, DreamDiffusion의 6,855개 정답/재구성 쌍을 의미 탐침, 캡션 가혹도 및 맹점(blind-spot) 비율, 제어된 열화를 통해 분석한다. 픽셀 지표는 의미적 일관성과 거의 상관관계가 없으며, 표현 지표는 지각적 오류와 의미적 오류를 혼동한다. 따라서 뇌-컴퓨터 인터페이스(BCI) 인지 프레임워크를 도입하여, 네 개의 비전-언어 모델(VLM)이 구조화된 질문을 통해 이미지 쌍을 평가하고 Tolerant Perceptual Alignment Score(T-PAS)와 Tolerant Semantic Alignment Score(T-SAS)를 산출한다. 이들의 합의는 BCI 일관성 점수(BCI-Coherence Score, BCS)로 응축되며, 이는 본 데이터에서 T-PAS MAE 0.079(r = 0.700) 및 T-SAS MAE 0.082(r = 0.850)를 달성하는 간결한 평가기이다. 인간 검증은 Cohen's kappa = 0.882 ± 0.174 및 Krippendorff's alpha = 0.882로 매우 신뢰할 수 있는 공동 일관성 판단을 보여 주며, 일반적인 시각 유사성보다 지각-의미 복원 가능성을 뒷받침한다. 코드와 자료는 https://sukt03.github.io/BCS/에서 이용할 수 있다.
변분 양자 회로에서 영감을 받아 밀집 가중치 행렬 대신 학습 가능한 위상 이동(phase shift)과 유니터리 혼합으로 구성된 단위원 다양체 기반 결정론적 분류 아키텍처인 VPC(Variational Phasor Circuit)를 제안한다. PhysioNet 운동 상상 EEG 데이터셋에서 VPC는 표준 뇌-컴퓨터 인터페이스(BCI) 기준 모델들보다 한 자릿수 적은 파라미터로 최고 평균 디코딩 정확도 0.60을 달성하며, 위상 전용 연산의 구조적 한계(패리티형 함수 표현 불가)도 함께 분석한다.
EEG 기반 뇌-컴퓨터 인터페이스의 교차 피험자 운동 심상(Motor Imagery) 디코딩에서 피험자 간 공분산 분산 및 방향 차이를 보정하기 위해, 리만 기하학 기반의 합동 변환(congruence transformation)을 적용한 DCT, DLDCT, DDCT-UNet 세 가지 모델을 제안한다. 여러 MI-EEG 벤치마크에서 leave-one-subject-out 귀납적 프로토콜로 평가한 결과, 기존 기준선 대비 2~3% 정확도 향상을 달성하였다.
MLLM(멀티모달 대규모 언어 모델)을 활용해 뇌 신호를 텍스트·이미지·오디오를 아우르는 공유 의미 공간에 정렬하고, 라우터 모듈로 자극별 모달리티 특징을 동적으로 융합하는 통합 BCI 디코딩 프레임워크를 제안한다. fMRI·EEG·MEG 등 다양한 뇌 신호와 자극 유형에서 최고 성능을 달성했으며, 가장 널리 쓰이는 벤치마크에서 평균 8.48% 성능 향상을 기록했다.
이식형 뇌-컴퓨터 인터페이스는 텔레메트리 대역폭과 소비 전력을 줄이면서 신뢰성 있는 신경 디코딩을 유지하기 위해 노드 상의 스파이크 정렬이 필요하다. 본 논문은 하드웨어 지향적인 심층 이진화 신경망(DBNN) 스파이크 정렬 시스템을 제안한다. 이 시스템은 256개 뉴런을 갖는 두 개의 이진화 은닉층과 고정소수점 출력층으로 구성되어, 부호 제어 누산 및 비트 단위 논리 연산이 지배적인 승산기 없는 추론을 가능하게 한다. 제안된 분류기는 구현 비용을 줄이기 위해(16-256-256-3) 압축된 16 샘플 스파이크 파형에서 동작하며, 합성 및 생체내(in-vivo) 데이터셋 모두에서 98.7%의 중앙값 분류 정확도를 달성한다. Cyclone V 장치의 FPGA 프로토타입은 50 MHz에서 동작하며 스파이크당 528 사이클을 필요로 하고, 이는 0.01 ms의 연산 지연 시간에 해당하며, DSP 블록 없이 828 ALM 및 1023 레지스터를 사용한다. ASIC 타당성 검토를 위해 DBNN을 FreePDK45 기반 플로우로 구현하였으며, Synopsys Design Compiler를 이용한 합성 결과 1.1 V 공급 전압 하에 20 kHz에서 추정 실리콘 면적 0.014 mm², 동작 전력 122 nW임을 확인하였다. 이 결과들은 제안된 DBNN 스파이크 정렬기가 저전력 이식형 신경 인터페이스를 지원하는 정확도와 구현 비용 간의 유리한 트레이드오프를 제공함을 보여준다. 전반적으로, 제안된 DBNN 스파이크 정렬기는 높은 정확도(98.7%)와 극도로 낮은 하드웨어 비용(0.014 mm², 20 kHz에서 122 nW) 및 승산기 없는 동작을 달성하여 저전력 이식형 신경 인터페이스에 적합하다. 본 논문은 실시간 신경 스파이크 정렬을 위해 설계된 최초의 DBNN을 소개하며, 입력 데이터 크기와 네트워크 복잡도 간의 우수한 균형을 달성한다.
비침습 뇌-컴퓨터 인터페이스(BCI)에서 피험자 독립적 EEG 운동 디코딩의 한계를 극복하기 위해, 액션 비디오를 의미적 사전(prior)으로 활용하는 2단계 프레임워크 EVA-Net을 제안한다. 교차 모달 대조 학습으로 EEG와 비디오 특징을 공유 공간에 정렬한 뒤, 지식 증류(knowledge distillation)를 통해 비디오 기반 사전 정보를 추론 오버헤드 없이 EEG 전용 분류기에 전달하며, EEGMMI 데이터셋에서 LOSO 정확도 8.66% 향상을 달성했다.
비침습 뇌-컴퓨터 인터페이스는 통제된 실험실 자극에서 실제 세계 자연 이미지로 전환될 때 현저한 성능 저하를 보입니다. 이러한 저하는 기존 다중모드 대비 표현 학습 모델이 기하학적 거리 정렬 최적화에만 집중하여, 신경 표현과 선택적 어텐션(attention)에서의 의미론적 일관성과 피험자 간 변동성을 고려하지 못하기 때문에 발생합니다. 결과적으로, 이러한 모델들은 가짜 제로샷(zero-shot) 매칭을 생성하기 쉽습니다. 이러한 한계를 해결하기 위해, 우리는 세 가지 협력 메커니즘을 통합한 통합 프레임워크인 SUP-MCRL을 제안합니다: (1) 사전학습된 살리언시(saliency) 모델에 의존하지 않고 의미론적 콘텐츠를 추출하기 위해 공간 어텐션(attention)을 학습하는 의미 개체 인식 시각 인코더(SAVE); (2) 적응형 피험자 간 견고성을 위해 다중 스케일 확장(atrous) 컨볼루션과 대역 간 어텐션(attention)을 사용하는 통합 EEG 향상기(UEE); (3) 표현 붕괴를 방지하기 위해 EMA(지수 이동 평균)로 업데이트되는 의사 특징(feature) 풀을 유지하는 프로토타입 기반 점진적 증강기(PPA). THINGS-EEG 데이터셋에 대한 제로샷(zero-shot) 실험은 피험자 내(intra-subject) 정확도 66.0%/91.9% (Top-1/Top-5)와 LOSO(Leave-One-Subject-Out) 정확도 24.0%/52.9%를 달성하여 최첨단 방법들을 크게 능가하며, 구조화된 정렬 감독이 교차 모드 디코딩의 한계를 극복하는 핵심임을 입증했습니다. 코드는 https://github.com/NZWANG/SUP-MCRL에서 확인할 수 있습니다.