STAMBRIDGE: EEG 시각 디코딩을 위한 스펙트럴-시간 진폭 인식 중간 특징 브리지
STAMBRIDGE: Spectral-Temporal Amplitude-aware Mid-Feature Bridge for EEG Visual Decoding
전기뇌파(EEG) 시각 디코딩은 낮은 SNR의 신경 신호와 고도로 구조화된 비전-언어 공간 사이의 모달리티 격차 때문에 여전히 어렵고, 이로 인해 직접적인 교차 모달 정렬이 불안정해진다. 이를 해결하기 위해 우리는 특징 조건화와 교차 모달 정렬을 순차적으로 다루는 범용 2단계 프레임워크인 STAMBRIDGE를 제안한다. 먼저, 잘 조건화된 EEG 표현을 추출하기 위해 Spectral-Temporal Amplitude-aware Modulation(STAM)을 도입한다. STAM은 강한 주파수 마스킹을 진폭 기반의 소프트 채널 가중과 다중 스케일 시간 합성곱으로 대체함으로써, 주파수 인식 순간(transient)을 명시적으로 보존하면서 시간 영역 ringing 아티팩트 발생 위험을 줄인다. 이러한 견고한 신경 특징 위에, 우리는 방향성 교차 모달 상호작용을 통해 정규화된 중간 공간을 구성하는 모델 불문 Mid-Feature Semantic Bridge(MFSB)를 추가로 도입하여, 단계적 증류와 더 안정적인 의미 정렬을 가능하게 한다. THINGS-EEG 벤치마크 실험에서는 200-way 제로샷 검색 성능이 경쟁력 있게 나타나 Top-1 34.50%, Top-5 65.95% 정확도를 기록했다. 또한 STAMBRIDGE로 학습한 임베딩은 확산 모델을 이용한 의미적으로 일관된 이미지 재구성을 만들어내며, 견고한 EEG-비전 의미 정렬을 보여준다. 코드는 https://github.com/thabeatmjh/STAMBRIDGE 에서 이용할 수 있다.