REALM: LFP 모델링을 위한 회고적 인코더 정렬
REALM: Retrospective Encoder Alignment for LFP Modeling
스파이크 활동(spike activity)은 높은 시공간 해상도를 통해 정확한 디코딩을 지원하므로 행동 디코딩을 위한 지배적인 신경 신호로 활용되어 왔습니다. 그러나 피질 내 뇌-컴퓨터 인터페이스(iBCI)가 더 많은 채널 수와 무선 작동을 지향함에 따라, 스파이크 기록에 필요한 높은 샘플링 레이트는 상당한 전력 및 대역폭 수요를 발생시킵니다. 국소 장 전위(LFP, local field potential)는 더 뛰어난 장기적 안정성, 더 낮은 에너지 소비 및 더 낮은 대역폭 요구 사항 등 상호 보완적인 이점을 제공합니다. 그러나 LFP 기반 디코더는 종종 더 낮은 정확도를 보이며, 실시간 배포에 직접 사용할 수 없는 비인과적(non-causal) 아키텍처에 의존합니다. 본 논문에서는 인과적 LFP 행동 디코딩을 위한 회고적 지식 증류(RKD) 프레임워크인 REALM을 제안합니다. 음성 인식의 오프라인-온라인 증류에서 영감을 얻은 REALM은 사전학습된 다중 세션 양방향 LFP 교사 모델의 비인과적 표현 지식을 인과적 학생 모델로 전달합니다. 먼저 연속 마스크 오토인코딩(CMAE)을 사용하여 여러 기록 세션에 걸쳐 양방향 Mamba-2 교사 모델을 사전학습한 다음, 표현 정렬과 오토인코딩의 결합된 목적 함수를 사용하여 해당 표현을 소형 인과적 학생 모델로 증류합니다. REALM은 레이블이 없는 파이프라인과 파인튜닝 파이프라인 모두에서 비교 대상 디코더 중 가장 높은 평균 정확도를 달성하며, SOTA(최첨단) CrossModalDistill을 포함한 각 기준선 대비 통계적으로 유의미한 향상을 보여줍니다. 또한 사전학습, 지식 증류 및 디코딩 전반에 걸쳐 LFP만을 사용하면서도 CrossModalDistill에 공개된 학생 모델 파라미터의 절반 미만과 10분의 1 수준의 사전학습 시간만으로 이를 달성합니다. 이러한 결과는 인과적 LFP 전용 모델이 비인과적 다중 모달(multi-modal) 모델과 경쟁할 수 있는 디코딩 정확도를 달성할 수 있음을 보여주며, 차세대 무선 및 이식형 iBCI를 위한 실용적이고 확장 가능한 접근 방식을 제공합니다.