생물학적 신경망(Biological Neural Networks, BNN)과 인터페이스하기 위해서는, 정보를 효과적으로 처리할 수 있고 기저 시스템이 적응할 수 있도록 하는 자극 패턴으로 인코딩하는 것이 필요하다. 그럼에도 불구하고 자극 인코딩의 역할은 아직 잘 이해되지 않고 있다. 본 연구에서는 배양 BNN을 사용한 폐루프(closed-loop) 신경 분류 과제에서 rate-based, phase-based, burst-based, time-to-first-spike 시간 인코딩(temporal encoding) 등 여러 인코딩 전략을 비교한다. 시각 입력을 다전극 배열(Multi-Electrode Array, MEA)을 통해 전달되는 시공간 자극 패턴으로 인코딩하고, 각 인코딩 방식에 대한 분류 성능을 평가한다. burst 기반 시간 인코딩이 가장 높은 성능을 보이며, 이진 분류 과제에서 최대 95.6%의 정확도를 달성하는 반면, rate- 및 phase 기반 접근법은 현저히 낮은 성능을 보인다. 또한 성능은 자극의 공간적 분포에 매우 민감하며, 최적이 아닌 전극 선택은 정확도를 크게 저하시킨다. 이러한 결과는 생물학적 신경 시스템과의 효과적인 인터페이스를 위해서는 시간적 및 공간적 인코딩 전략의 공동 최적화가 필요함을 시사하며, 시간 인코딩을 바이오-디지털 컴퓨팅(bio-digital computing)의 핵심 설계 차원으로 강조한다.
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.
Brain Treebank, MEG-MASC, Podcast ECoG의 자연주의 이해 데이터에서 8개 고정 언어 모델과 블록 인코딩 모델로 분석한 결과, hold-out 신경 예측과 저수준 기준선 대비 개선은 광범위했으나 데이터셋·참가자·모델 구성별로 이질적이었다. 언어 모델 특징은 자연스러운 음성·텍스트 이해 중 신경 활동을 주석화하는 데 유용하지만, 그 예측적 유용성은 공유된 신경 조직이나 언어 처리 계산을 직접 뒷받침한다고 보기 어렵다.