arXiv:2603.19100v2 cs.AI

LuMamba: 전극 토폴로지 불변 및 효율적인 EEG 모델링을 위한 잠재 통합 Mamba

LuMamba: Latent Unified Mamba for Electrode Topology-Invariant and Efficient EEG Modeling

Danaé Broustail, Anna Tegon, Thorir Mar Ingolfsson, Yawei Li, Luca Benini

제출 2026-03-19

한국어 초록

뇌전도(EEG)는 임상 및 신경기술 응용 분야에서 뇌 활동의 비침습적 모니터링을 가능하게 하지만, 서로 다른 전극 토폴로지와 계산 스케일링 문제로 인해 EEG용 파운데이션 모델 구축은 여전히 어렵습니다. 특히 트랜스포머 아키텍처는 이차 시퀀스 복잡도를 초래하기 때문입니다. 이에 대한 통합 해결책으로, 저희는 토폴로지 불변 인코딩과 선형 복잡도 상태 공간 모델링을 결합한 자기지도 학습 프레임워크인 LuMamba(Latent Unified Mamba)를 제안합니다. LuMamba는 채널 통합을 위해 LUNA의 학습된 쿼리 교차 어텐션(learned-query cross-attention) 메커니즘을 사용하고, 효율적인 시간적 모델링을 위해 FEMBA의 양방향 Mamba 블록을 활용합니다. 이 아키텍처 내에서 저희는 바이오시그널 학습을 위한 잠재-유클리드 결합 임베딩 예측 아키텍처(LeJEPA)에 대한 최초의 체계적인 조사를 제공합니다. TUEG 말뭉치의 21,000시간 이상의 레이블 없는 EEG로 사전학습된 LuMamba는 16개에서 26개 채널에 이르는 전극 구성에서 이상 징후 탐지, 인공물 인식, 정신 상태 분류에 걸친 5가지 다운스트림 태스크에 대해 평가되었습니다. 사전학습 목적함수에서 마스크드 재구성만 사용하면 구조화되었지만 일반화 가능성이 낮은 표현이 생성되는 반면, LeJEPA만 사용하면 흐릿한 임베딩이 생성됩니다. 두 목적함수를 결합했을 때 가장 강건한 성능을 달성했습니다. 단 4.6M 개의 파라미터만으로 LuMamba는 TUAB에서 80.99%의 균형 정확도를 달성하고 알츠하이머 탐지에서 최첨단 성능(0.97 AUPR)을 달성했습니다. 또한 동일한 시퀀스 길이에서 최첨단 모델보다 377배 적은 연산량(FLOPS)을 요구하며, 일반적인 GPU 메모리 한계에 도달하기 전에 12배 더 긴 시퀀스로 확장할 수 있습니다. 코드는 https://github.com/pulp-bio/biofoundation에서 확인할 수 있습니다.

원문 초록

Electroencephalography (EEG) enables non-invasive monitoring of brain activity across clinical and neurotechnology applications, yet building foundation models for EEG remains challenging due to differing electrode topologies and computational scalability, as Transformer architectures incur quadratic sequence complexity. As a joint solution, we propose LuMamba (Latent Unified Mamba), a self-supervised framework combining topology-invariant encodings with linear-complexity state-space modeling, using LUNA's learned-query cross-attention mechanism for channel unification, and FEMBA's bidirectional Mamba blocks for efficient temporal modeling. Within this architecture, we provide the first systematic investigation of the Latent-Euclidean Joint-Embedding Predictive Architecture (LeJEPA) for biosignal learning. Pre-trained on over 21,000 hours of unlabeled EEG from the TUEG corpus, LuMamba is evaluated on five downstream tasks spanning abnormality detection, artifact recognition, and mental condition classification across electrode configurations ranging from 16 to 26 channels. In the pre-training objective, masked reconstruction alone yields structured but less generalizable representations, while LeJEPA alone produces diffuse embeddings; combining both objectives achieves the most robust performance. With only 4.6M parameters, LuMamba attains 80.99% balanced accuracy on TUAB and achieves state-of-art performance on Alzheimer's detection (0.97 AUPR), while requiring 377x fewer FLOPS than state-of-art models at equivalent sequence lengths and scaling to 12x longer sequences before reaching typical GPU memory limits. Code is available at https://github.com/pulp-bio/biofoundation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.19100v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13778v1cs.LG공통 태그 Computational Efficiency, Mamba

ReplaySSM: 상태 대신 SSM 입력 캐싱하기

ReplaySSM: Cache SSM Inputs, Not State

상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.

arXiv:2610.13780v1cs.CV공통 태그 Anomaly Detection, Classification

형광 현미경 이미지에서 극히 희귀한 사멸 세포의 검출

Detection of extremely rare dead cells in fluorescence microscopy images

형광 현미경 관찰에서 사멸 세포 검출은 표현형 스크리닝과 약물 효능 평가에 필수적입니다. 그러나 신호 가변성, 광학 인공물(optical artifact), 여러 채널 간 공국재화(colocalization) 모호성으로 인해 자동 식별은 여전히 어렵습니다. 세포핵 경계를 정의하는 마커는 세포사멸(apoptotic) 마커와 공간적 또는 시간적으로 깔끔하게 일치하지 않습니다. 더욱이 마커 축적 동역학은 개별 세포 및 세포사멸 단계마다 다르므로 범용 임계값을 신뢰하기 어렵습니다. 본 논문에서는 핵 염색 검체에서 세포사멸 세포를 검출하기 위한 여러 전산적 접근 방식에 대한 체계적인 비교를 제시합니다: (1) 강도 임계값, 분포, 상관관계 및 도메인 지침을 사용하는 휴리스틱 방법; (2) 수치적 특징(로지스틱 회귀, 랜덤 포레스트, XGBoost 및 LightGBM)과 이미지 특징(ResNet-18 및 EfficientNet-B0)을 사용하는 분류; (3) 마찬가지로 수치적 특징(격리 포레스트, 원클래스 SVM 및 PCA 재구성)과 이미지 특징(합성곱 오토인코더 및 Deep SVDD)을 사용하는 이상 탐지. 수작업으로 주석이 달린 243개의 실측값(ground truth) 사멸 세포를 포함하여 여러 장면에 걸쳐 65,527개의 세포/핵이 포함된 258개 이미지 데이터셋을 사용하여, PR-AUC, 정밀도, 재현율, F1-score 및 macro-F1과 같은 지표로 각 방법을 평가합니다. 연구 결과에 따르면 이미지 특징을 사용하는 분류(심층 학습)와 수치적 특징을 사용하는 분류(전통적 방식)가 가장 우수한 성능을 달성했으며, ResNet-18과 XGBoost가 수작업으로 설계된 휴리스틱 및 이상 탐지 방법보다 크게 우수한 성과를 보였습니다. 이러한 연구 결과는 최첨단 전산 및 학습 기법으로도 이러한 생의학 문제를 해결하는 것이 여전히 매우 까다롭다는 점을 보여줍니다. 우리는 도메인 과학자를 돕는 보조 도구로서 완전 자동 방식이나 인간 참여형(human-in-the-loop) 설정 모두에서 연구자들에게 효과적인 의사결정 지원 도구를 제공하는 것을 목표로 합니다.

arXiv:2610.10867v1cs.LG공통 태그 Classification, Computational Efficiency

분류 성능의 지표로서 라이프-유사 네트워크 오토마타 규칙의 형태 불규칙성

Shape irregularity of Life-Like Network Automaton rules as an indicator of classification performance

복잡 네트워크(Complex Network, CN) 분류는 스케일 불변(scale-invariant)이면서도 계산적으로 효율적인 고수준의 구조적 특성화를 필요로 합니다. 라이프-유사 네트워크 오토마타(Life-Like Network Automata, LLNA) 기반 방법은 사전에 제공된 특징 없이도 창발적 시간 패턴을 활용하여 네트워크 기술자(descriptor)를 추출하는 흥미로운 방식을 제공하지만, 그 효과는 오토마타 전이 규칙의 선택이라는 높은 비용의 조합 최적화 문제로 인해 병목 현상을 겪습니다. 기존 연구들은 대규모 응용에 실현 불가능한 전수 탐색(exhaustive search)에 의존하는 반면, 본 연구는 규칙 공간이 LLNA 전이 함수와 톱니 형태의 유사성을 정량화하는 '들쭉날쭉함(jaggedness)'이라는 특성으로 근본적으로 구조화되어 있음을 밝힙니다. 우리는 이 지표가 혼돈성(chaoticity)과 민감도(sensitivity)에 대한 이론적 대리 지표로 작용함을 입증하며, 이러한 특성은 네트워크 범주 간의 식별력 있는 동적 동작을 생성하는 데 필수적입니다. 나아가, 우리는 들쭉날쭉함을 활용하여 규칙 선택을 유도하는 휴리스틱 탐색 전략을 도입합니다. 실험 결과에 따르면 본 접근법은 전수 탐색 방식에 비해 계산 오버헤드를 90% 줄이면서도 전역 최적값 대비 5% 이내의 분류 정확도를 달성합니다. 우리의 발견은 패턴 인식을 위한 오토마타 기반 방법을 최적화하는 새롭고 효율적인 프레임워크를 제공합니다.

arXiv:2610.02342v1cs.AI공통 태그 Anomaly Detection, Computational Efficiency

자연 가시성 그래프 기반 사이버 공격 탐지를 위한 위상 지표의 다중 방식 중요도 및 성능 효율성 분석

A Multi Method Importance and Performance Efficiency Analysis of Topological Metrics for Natural Visibility Graph Based Cyber Attack Detection

자연 가시성 그래프(Natural Visibility Graph, NVG) 기반 분석은 서로 다른 구조적 특성을 반영하는 위상 기술자(topological descriptor)를 통해 네트워크 트래픽을 특성화합니다. 그러나 모든 기술자가 사이버 공격 분류에 동일하게 기여하는 것은 아니며, 대규모 지표 집합을 추출하는 것은 계산 비용을 증가시킬 수 있습니다. 본 연구에서는 NVG에서 유도된 21개의 위상 지표를 평가하고, 축소된 하위 집합이 계산 효율성을 개선하면서도 분류 성능을 유지할 수 있는지 조사합니다. SHAP, 그룹화된 순열 중요도(Permutation Importance), Boruta, 재귀적 특징 제거(Recursive Feature Elimination, RFE)의 네 가지 중요도 분석 방법을 합의 순위(Consensus Ranking) 전략을 통해 통합합니다. 이 순위를 바탕으로 Full21, Top15, Top10, Top7, Top5, Top3 구성을 CICIDS2018 데이터셋, CNN 분류기, 계층화된 5겹 교차 검증을 사용하여 평가합니다. 가장 높은 순위를 기록한 세 가지 지표는 avg_clustering_coeff_median, avg_clustering_coeff_std, avg_clustering_coeff_mean입니다. Top3는 97.148%의 정확도, 97.055%의 가중 F1 점수, 0.9675의 MCC를 기록하여 Full21의 95.999%, 95.521%, 0.9549와 비교해 관측된 최고 평균 성능을 달성했습니다. 또한 전체 실행 시간을 14,961.39초에서 589.22초로 96.06% 단축했습니다. 이러한 결과는 중요도 기반의 지표 축소가 평가된 환경에서 더 높은 관측 평균 예측 성능과 실질적으로 훨씬 낮은 계산 비용을 갖춘 간결한 NVG 표현을 제공할 수 있음을 보여줍니다.

arXiv:2610.03649v1cs.CV공통 태그 Anomaly Detection, Computational Efficiency

효율적인 해양 환경 모니터링을 위한 위성 탑재 이상 탐지

On-Board Anomaly Detection for Efficient Marine Environmental Monitoring

해양 생태계는 기름 유출, 유해 조류 번식, 퇴적물 범람 등 서식지와 야생동물, 인간 활동을 방해하는 다양한 위협의 영향을 받습니다. 위성 영상과 인공지능(AI)의 발전은 이러한 위험 요소를 조기에 탐지하고 완화할 수 있는 역량을 향상시켰습니다. 본 논문에서는 다중분광 또는 초분광 센서를 탑재한 지구 관측 위성을 위한 해양 이벤트 탐지 파이프라인을 제안합니다. 제안하는 접근법은 위성 영상을 축소된 잠재 공간(latent space)으로 압축하여 효율적인 위성 탑재(onboard) 처리를 가능하게 하는 자기지도 학습(self-supervised) 신경망(neural network) 인코더를 포함합니다. 머신러닝 이상 탐지 모델(model)은 정상적인 해양 패턴으로부터의 편차를 식별하여 환경적 이상 현상을 감지합니다. 이 성능을 Isolation Forest, One-Class Support Vector Machine, Local Outlier Factor와 같은 전통적인 알고리즘과 비교합니다. 리소스 효율적인 경량 파이프라인은 임베디드 CPU부터 AI 하드웨어 가속기에 이르기까지 계산 자원이 제한된 위성에 배포할 수 있도록 최적화되었습니다. 중요한 정보의 전송을 우선시함으로써, 본 솔루션은 시스템 응답성을 높이고 위성 통신 대역폭을 최적화합니다. 유럽우주국(ESA)의 Phisat-2 미션 및 Microsoft/Thales Alenia Space의 IMAGIN-e 미션을 포함한 여러 실제 미션에 적용되어 입증된 이 파이프라인은 적시 경보와 효율적인 데이터 감축을 제공하여 해양 환경 모니터링을 개선하는 것을 목표로 합니다.

arXiv:2610.02048v1cs.AI공통 태그 Anomaly Detection, Classification

HydroJEV: 상수도 관망의 사이버 공격 및 고장 원인 규명을 위한 1초 소요 무학습 선별 모델

HydroJEV: A one-second, training-free screen for cyber-attack and fault attribution in water distribution networks

상수도 관망에서 SCADA 경보가 발생했을 때, 운영자는 그것이 사이버 공격, 물리적 고장, 정상적인 과도 현상, 또는 센서 결함 중 무엇을 반영하는지 신속하게 판단해야 합니다. 지도학습 분류기는 수도 사업자가 거의 보유하지 못한 라벨링된 사고 데이터를 필요로 하며, 프론티어 대규모 언어 모델(LLM)은 결정당 수십 초가 소요됩니다. 본 연구에서는 약 1초 만에 클래스 확률을 반환하는 무학습(training-free) 모델인 Jev가 이러한 분류의 1단계 선별 역할을 수행할 수 있는지 검증했습니다. EPANET의 C-Town 네트워크를 기반으로 구축된 4개 클래스 원인 규명 벤치마크에서, 사전 등록된 4회의 블라인드 라운드 동안 동일한 증거를 바탕으로 Jev를 수작업 규칙 트리, 지도학습 분류기, 그리고 7개의 클라우드 LLM과 비교했습니다. 무라벨 사전 보정(label-free prior correction)만으로도 Jev는 4개 라운드 전체에서 규칙 트리와 동등한 성능(분포 내 매크로 F1 0.62-0.64 대 0.56-0.61)을 보였으며, 라벨에 포함되지 않은 이벤트 하위 유형에서는 지도학습 분류기를 0.36-0.42 앞섰고, 클래스당 라벨링된 이벤트가 약 4개 미만일 때마다 분류기보다 우수한 성능을 나타냈습니다. 또한 Jev는 프론티어 LLM보다 20~40배 더 빠르게 결정을 내렸습니다. 규칙 트리로 확인된 Jev의 정상 판정만을 채택함으로써 매크로 F1의 손실 없이 새로운 블라인드 세트에서 LLM 검토자의 윈도우 작업을 35~38% 줄일 수 있었습니다. 추가적인 두 개 관망에 변경 없이 전이되었을 때도, 이 게이티드 캐스케이드(gated cascade)는 4개 세트 모두에서 검토자의 비열등성 마진(non-inferiority margin) 내를 유지했습니다. 따라서 빠르고 학습이 필요 없는 선별 모델은 정밀한 검토의 정확도를 유지하면서도 SCADA 이상 분류 검토 부담의 약 3분의 1을 대신 처리할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.