PyTorchKR Papers

최신 논문

총 30편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.10356v3cs.CL

멀티모달 마음 디코딩: 멀티모달 정렬과 적응형 라우팅을 통한 일반화 가능한 뇌-텍스트 변환

Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing

MLLM(멀티모달 대규모 언어 모델)을 활용해 뇌 신호를 텍스트·이미지·오디오를 아우르는 공유 의미 공간에 정렬하고, 라우터 모듈로 자극별 모달리티 특징을 동적으로 융합하는 통합 BCI 디코딩 프레임워크를 제안한다. fMRI·EEG·MEG 등 다양한 뇌 신호와 자극 유형에서 최고 성능을 달성했으며, 가장 널리 쓰이는 벤치마크에서 평균 8.48% 성능 향상을 기록했다.

arXiv:2607.05590v1eess.SP

DBNN: 심층 이진화 신경망을 이용한 신경 스파이크 분류

DBNN: Neural Spike Classification Using a Deep Binarized Neural Network

이식형 뇌-컴퓨터 인터페이스는 텔레메트리 대역폭과 소비 전력을 줄이면서 신뢰성 있는 신경 디코딩을 유지하기 위해 노드 상의 스파이크 정렬이 필요하다. 본 논문은 하드웨어 지향적인 심층 이진화 신경망(DBNN) 스파이크 정렬 시스템을 제안한다. 이 시스템은 256개 뉴런을 갖는 두 개의 이진화 은닉층과 고정소수점 출력층으로 구성되어, 부호 제어 누산 및 비트 단위 논리 연산이 지배적인 승산기 없는 추론을 가능하게 한다. 제안된 분류기는 구현 비용을 줄이기 위해(16-256-256-3) 압축된 16 샘플 스파이크 파형에서 동작하며, 합성 및 생체내(in-vivo) 데이터셋 모두에서 98.7%의 중앙값 분류 정확도를 달성한다. Cyclone V 장치의 FPGA 프로토타입은 50 MHz에서 동작하며 스파이크당 528 사이클을 필요로 하고, 이는 0.01 ms의 연산 지연 시간에 해당하며, DSP 블록 없이 828 ALM 및 1023 레지스터를 사용한다. ASIC 타당성 검토를 위해 DBNN을 FreePDK45 기반 플로우로 구현하였으며, Synopsys Design Compiler를 이용한 합성 결과 1.1 V 공급 전압 하에 20 kHz에서 추정 실리콘 면적 0.014 mm², 동작 전력 122 nW임을 확인하였다. 이 결과들은 제안된 DBNN 스파이크 정렬기가 저전력 이식형 신경 인터페이스를 지원하는 정확도와 구현 비용 간의 유리한 트레이드오프를 제공함을 보여준다. 전반적으로, 제안된 DBNN 스파이크 정렬기는 높은 정확도(98.7%)와 극도로 낮은 하드웨어 비용(0.014 mm², 20 kHz에서 122 nW) 및 승산기 없는 동작을 달성하여 저전력 이식형 신경 인터페이스에 적합하다. 본 논문은 실시간 신경 스파이크 정렬을 위해 설계된 최초의 DBNN을 소개하며, 입력 데이터 크기와 네트워크 복잡도 간의 우수한 균형을 달성한다.

arXiv:2606.01884v3cs.AI

EVA-Net: 비디오 기반 운동 사전 정보를 활용한 피험자 독립적 EEG 운동 디코딩

EVA-Net: Subject-Independent EEG Motor Decoding with Video-Derived Motor Priors

비침습 뇌-컴퓨터 인터페이스(BCI)에서 피험자 독립적 EEG 운동 디코딩의 한계를 극복하기 위해, 액션 비디오를 의미적 사전(prior)으로 활용하는 2단계 프레임워크 EVA-Net을 제안한다. 교차 모달 대조 학습으로 EEG와 비디오 특징을 공유 공간에 정렬한 뒤, 지식 증류(knowledge distillation)를 통해 비디오 기반 사전 정보를 추론 오버헤드 없이 EEG 전용 분류기에 전달하며, EEGMMI 데이터셋에서 LOSO 정확도 8.66% 향상을 달성했다.

arXiv:2602.10528v2cs.LG

A swap-adversarial framework for improving domain generalization in electrocorticography-based Parkinson's disease classification

We propose a novel swap-adversarial framework that mitigates high inter-subject variability and the high-dimensional low-sample-size problem in electrocorticography (ECoG) data. It achieves robust domain generalization across ECoG and electroencephalography (EEG)-based brain-computer interface datasets. Our framework integrates (1) robust preprocessing, (2) inter-subject balanced channel swap (ISBCS) for cross-subject augmentation, and (3) domain-adversarial learning (DAL) to suppress subject-specific bias. The ISBCS method is a bio-inspired channel swapping strategy that exchanges only functionally corresponding channels across subjects, guided by a brain map, to mitigate inter-subject distribution differences. The DAL strategy encourages the model to learn task-relevant shared features. We validate the effectiveness of this framework through extensive experiments under cross-subject, cross-session, and cross-dataset settings. Our framework consistently outperforms all baselines across all settings, showing the most significant improvements in highly variable environments. It also achieves superior cross-dataset performance between public EEG benchmarks, demonstrating strong generalization capability not only for ECoG but also for EEG data. In addition, we introduce a new ECoG dataset, the first reproducible benchmark, which is constructed from long-term ECoG recordings of 6-hydroxydopamine-induced rat models and annotated with neural responses measured before and after electrical stimulation.

arXiv:2606.25456v1cs.LG

Towards Robust EEG Decoding Based on Riemannian Self-Attention

기존 SPD 기반 EEG 디코딩은 단순 아키텍처와 Affine-Invariant Metric(AIM)의 조건 불량 SPD 행렬 처리 한계로 저 SNR 환경에서 채널 간 로컬 관계를 충분히 포착하지 못한다. Bures-Wasserstein metric(BWM) 기반 리만 self-attention 네트워크를 학습 가능한 GBWAtt로 확장했으며, 세 EEG 벤치마크 데이터셋에서 강건성과 효과를 확인했다.

arXiv:2606.25400v1cs.AI

BrainAgent: A Large Language Model-Driven Multi-Agent Framework for Autonomous Brain Signal Understanding

Brain-Computer Interfaces (BCIs) and brain signal understanding are pivotal for clinical health and next-generation interactions. Despite this significance, its widespread adoption in real-world scenarios remains restricted, primarily because current analytical paradigms lack sufficient agentic intelligence. First, existing methodologies impose prohibitive technical barriers, requiring extensive specialized expertise. Second, they remain inherently static and task-specific, failing to execute the complex, long-horizon workflows essential for real-world deployment. To accelerate the democratization of brain signal understanding, we draw inspiration from Large Language Models (LLMs) to introduce BrainAgent, an LLM-driven multi-agent framework designed to ground abstract natural language intent into rigorous, executable, and end-to-end processing pipelines. BrainAgent employs a hierarchical architecture where a central supervisor orchestrates specialized sub-agents for adaptive task decomposition and execution. Furthermore, we establish a comprehensive, systematic benchmark for evaluating agentic systems in brain signal analysis. Empirical results demonstrate that BrainAgent effectively automates complex workflows with superior reliability, marking a paradigm shift toward democratized brain signal understanding.

arXiv:2603.04840v2eess.AS

An Approach to Simultaneous Acquisition of Real-Time MRI Video, EEG, and Surface EMG for Articulatory, Brain, and Muscle Activity During Speech Production

발화 생성 시 뇌 신호(EEG), 표면 EMG, 실시간 MRI(rtMRI)로 조음 운동을 동시에 기록하는 최초의 멀티모달 취득 방식을 제안하고, MRI 유도 전자기 간섭·심박·근전도 아티팩트 등을 줄이기 위한 삼중 모달 아티팩트 억제 파이프라인을 구현했다. 예비 결과에서 주요 잡음이 상당히 감소했으며, 발화 신경과학과 뇌-컴퓨터 인터페이스(BCI) 연구에 활용될 수 있는 데이터와 소스 코드를 공개했다.

arXiv:2606.24394v1cs.HC

Average Rankings Mask Per-Subject Optimality: A Friedman-Nemenyi Benchmark of EEG Motor-Imagery BCI Decoders

Electroencephalography (EEG) is the dominant non-invasive modality for brain-computer interfaces (BCIs), yet reliable decoding of motor imagery is hampered by inter- and intra-individual variability. A recurring claim is that one decoding pipeline, most often a spatial or Riemannian method, is broadly preferable. We test the weakest version of that claim under the most favourable conditions. Using the Mother of All BCI Benchmarks (MOABB) framework, we evaluated 1,056 decoding configurations (feature extractor x scaler x classifier), >340,000 subject-level model fits, across three public left-versus-right motor-imagery datasets (PhysionetMI, 109 participants; Cho2017, 52; Zhou2016, 4) and two frequency bands (8-15 Hz, 8-30 Hz). Every model is fit and tested within a single session of a single participant, the easiest regime, giving every pipeline its best chance. We apply the statistics standard for multi-classifier comparison: Friedman omnibus tests, Nemenyi critical-difference analysis and Wilcoxon signed-rank tests with effect sizes. Covariance tangent-space projection (cov-tgsp) and Common Spatial Patterns (CSP) are the strongest families, but their ordering is dataset-dependent and, on the largest and most heterogeneous cohort (PhysionetMI), statistically indistinguishable (Nemenyi p = 0.27; Kendall's W = 0.11). At the individual level the single best pipeline is optimal for only 35% of PhysionetMI participants, and nonlinear descriptors are best for roughly one third; matching pipeline to participant adds about seven accuracy points over the best fixed choice. The ranking is not an artefact of dimensionality, and classifier and scaler choices are secondary to the feature representation. Even in the easiest regime, no single pipeline dominates: a lower bound on the personalization problem and a quantitative case for participant-aware model selection rather than a universal decoder.

arXiv:2606.16615v2cs.CV

EEG 시각 디코딩을 위한 피험자 인식 통합 의사 특징 부호화 다중모드 대비 표현 학습

SUP-MCRL: Subject-aware Unified Pseudo-feature Coded Multimodal Contrastive Representation Learning for EEG Visual Decoding

비침습 뇌-컴퓨터 인터페이스는 통제된 실험실 자극에서 실제 세계 자연 이미지로 전환될 때 현저한 성능 저하를 보입니다. 이러한 저하는 기존 다중모드 대비 표현 학습 모델이 기하학적 거리 정렬 최적화에만 집중하여, 신경 표현과 선택적 어텐션(attention)에서의 의미론적 일관성과 피험자 간 변동성을 고려하지 못하기 때문에 발생합니다. 결과적으로, 이러한 모델들은 가짜 제로샷(zero-shot) 매칭을 생성하기 쉽습니다. 이러한 한계를 해결하기 위해, 우리는 세 가지 협력 메커니즘을 통합한 통합 프레임워크인 SUP-MCRL을 제안합니다: (1) 사전학습된 살리언시(saliency) 모델에 의존하지 않고 의미론적 콘텐츠를 추출하기 위해 공간 어텐션(attention)을 학습하는 의미 개체 인식 시각 인코더(SAVE); (2) 적응형 피험자 간 견고성을 위해 다중 스케일 확장(atrous) 컨볼루션과 대역 간 어텐션(attention)을 사용하는 통합 EEG 향상기(UEE); (3) 표현 붕괴를 방지하기 위해 EMA(지수 이동 평균)로 업데이트되는 의사 특징(feature) 풀을 유지하는 프로토타입 기반 점진적 증강기(PPA). THINGS-EEG 데이터셋에 대한 제로샷(zero-shot) 실험은 피험자 내(intra-subject) 정확도 66.0%/91.9% (Top-1/Top-5)와 LOSO(Leave-One-Subject-Out) 정확도 24.0%/52.9%를 달성하여 최첨단 방법들을 크게 능가하며, 구조화된 정렬 감독이 교차 모드 디코딩의 한계를 극복하는 핵심임을 입증했습니다. 코드는 https://github.com/NZWANG/SUP-MCRL에서 확인할 수 있습니다.

arXiv:2606.18816v1cs.HC

SwitchBraidNet: 하이브리드 뇌-컴퓨터 인터페이스를 위한 양자화 인식 경량 아키텍처

SwitchBraidNet: Quantisation-Aware Lightweight Architecture for Hybrid Brain-Computer Interface

SwitchBraidNet은 운동 상상(MI)과 정상 상태 시각 유발 전위(SSVEP)를 통합하는 하이브리드 뇌-컴퓨터 인터페이스(BCI)의 임베디드 연산 한계를 줄이기 위해, 이중 경로 시간 브레이드·적응형 Squeeze-and-Excitation 공간 스위치·로그 분산 리드아웃을 갖춘 경량 EEG 분류 아키텍처로 제안되었으며 OpenBMI 데이터셋에서 양자화 인식 학습(QAT)으로 FP32·FP16·INT8 정밀도를 체계적으로 비교했다. MI 정확도 69.49%(FP16), SSVEP 정확도 93.48%(FP32), 하이브리드 정보 전송률 64.82 bits/min(FP16)을 달성했고 INT8 모델 크기 3.03 KB에서도 높은 정확도를 유지해 저전력 임베디드 BCI 배포에 적합함을 보였다.