CaMBRAIN: 인과적 상태 공간 모델을 이용한 실시간 연속 EEG 추론
CaMBRAIN: Real-time, Continuous EEG Inference with Causal State Space Models
한국어 초록
뇌전도(EEG)는 뇌의 전기적 활동을 모니터링하는 중요한 비침습적 방법이다. EEG는 수 초에서 수 시간까지 길이가 다양하여 기존 딥러닝 방법에 큰 어려움을 야기하는데, 이는 두 가지 주요 요인 때문이다. (1) 기존 EEG 모델은 대부분 어텐션 메커니즘에 기반하므로 시퀀스 길이가 늘어날수록 계산량이 제곱으로 증가한다. (2) 고정 길이 입력 요구 사항 때문에 원시 EEG 신호를 슬라이딩 윈도우 방식으로 처리해야 하며, 이로 인해 전체 신호에 대한 전역적 이해가 불가능하다. 이를 해결하기 위해 본 논문은 EEG 신호의 실시간 추론이 가능한 최초의 인과적 Mamba 기반 상태 공간 모델(SSM)인 CaMBRAIN을 제안하며, EEG의 인과적이고 단방향적인 특성을 고려할 때 양방향 접근법은 불필요하게 비용이 크다고 주장한다. 그러나 이러한 모델의 학습은 간단하지 않은데, 중요한 EEG 이벤트는 1초 미만의 극히 짧은 구간에 나타날 수 있으면서도 수 분에 걸친 긴 간격으로 떨어져 있을 수 있기 때문이다. 현재의 EEG 방법은 신호 재구성을 최적화하는 자기지도 목적함수를 사용하지만, 이는 스트리밍 SSM에는 적합하지 않으며 스트리밍 추론에 필요한 핵심적인 장거리 문맥을 은닉 상태가 유지하도록 명시적으로 학습시키지 못한다. 따라서 본 논문은 상태 공간 모델의 선형 시간 복잡도를 유지하면서 장거리 기억 유지와 EEG 신호에 대한 강력한 성능을 촉진하도록 특별히 설계된 다단계 자기지도 학습 파이프라인을 도입한다. CaMBRAIN은 3개의 서로 다른 EEG 데이터셋에서 기존 모델 대비 10배 이상 높은 처리량으로 최첨단(SOTA) 성능을 달성하였으며, 가변 길이 EEG 신호에 대한 장거리 연속 추론이 가능한 최초의 모델을 구현하였다.
원문 초록
Electroencephalography (EEG) is a critical, non-invasive method to monitor electrical brain activity. EEGs can span anywhere from a couple seconds to multiple hours, posing a major hurdle for existing deep learning methods due to two major factors: (1) existing EEG models are predominantly built upon the attention mechanism, incurring quadratic scaling as the sequence length increases, and (2) raw EEG signals must be processed in a sliding-window fashion due to fixed-length input requirements, preventing global understanding of the entire signal. To this extent, we propose CaMBRAIN - the first Causal, Mamba-based state space model (SSM) capable of real-time inference of EEG signals, arguing that bidirectional approaches are needlessly expensive given the causal, unidirectional nature of EEG. However, training such a model is non-trivial, as crucial EEG events can be extremely brief - within fractions of a second - yet separated by long intervals spanning minutes. Current EEG methods use self-supervised objectives that optimize for signal reconstruction, but these are not well suited for streaming SSMs; they fail to explicitly train the hidden state to retain the salient long-range context needed for streaming inference. We therefore introduce a multi-stage self-supervised training pipeline specifically tailored to encourage long-range memory retention and strong performance on EEG signals, while preserving the linear-time complexity of state space models. CaMBRAIN achieves state-of-the-art (SOTA) results across 3 different EEG datasets with >10x higher throughput than existing models, enabling the first model capable of long-range, continuous inference of variable-length EEG signals.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.28792v3제출 시각 미확인
- arXiv:2605.28792v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.