사람과 대규모 언어 모델(LLM)이 동일한 텍스트를 처리할 때, LLM의 활성화는 기능적 자기공명 영상(fMRI) 등으로 측정된 뇌 활동과 상관을 보인다. 더 나아가 LLM의 학습이 진행될수록, 그 내부 활성화로부터 뇌 활동을 예측하는 성능은 우반구보다 좌반구에서 더 크게 향상된다는 것이 밝혀졌다. 본 연구는 LLM이 습득한 어떤 종류의 능력이 이러한 좌-우 비대칭의 출현을 뒷받침하는지 이해하는 것을 목표로 한다. 다양한 학습 체크포인트의 OLMo-2 7B 언어 모델과 영어 화자 참가자의 fMRI 데이터를 사용하여, 뇌 활동과 모델 예측 간 상관에서의 좌-우 비대칭 변화를 여러 벤치마크 성능과 함께 비교한다. 우리는 이 비대칭이 LLM의 형식적 언어 능력과 함께 출현함을 관찰한다. 이러한 능력은 두 가지 방식으로 입증된다. 하나는 최소 대조 쌍 내에서 문법적으로 허용 가능한 문장에 허용 불가능한 문장보다 더 높은 확률을 부여하는 모델의 능력이고, 다른 하나는 잘 형성된(well-formed) 텍스트를 생성하는 능력이다. 반면, 좌-우 비대칭은 산술(arithmetic) 또는 Dyck 언어 과제에서의 성능과도, 세계 지식 및 추론을 포함하는 텍스트 기반 과제와도 일치하지 않는다. 우리는 이러한 결과를 다른 LLM 계열(Pythia)과 프랑스어와 중국어의 두 다른 언어로 일반화한다. 우리의 관찰은 뇌 예측력(predictivity)에서의 좌-우 비대칭이 형식적 언어 능력의 진행과 일치함을 나타낸다.
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.
2025 Algonauts 뇌 인코딩 챌린지 우승 모델인 TRIBE(Llama-3.2 + V-JEPA2 + Wav2Vec-BERT)가 예측한 fMRI 반응을 초 단위 engagement 곡선(global field power)으로 변환하여 YouTube의 "most replayed" 히트맵과 비교한 결과, 두 지표 간 상관관계가 통계적으로 유의하지 않았다(부분 상관계수 +0.058, p=0.23). 이는 고정밀 뇌 인코딩 모델의 예측 신호가 실제 시청자의 재시청 행동을 예측하지 못하며, 단순 음량(loudness) 기준선과도 차별화되지 않음을 보여준다.