A central goal of cognitive neuroscience is to characterize the features that are represented by human language cortex. Artificial language models (LMs) have emerged as a powerful tool to address this challenge, but studies relating biological and artificial representations are often criticized as relating one black box to another. The present work introduces Augmented Sparse Encoding Models, an encoding framework that replaces dense LM hidden states with hierarchically-organized sparse autoencoder (SAE) features, while explicitly including surprisal as a predictor. Using this approach, we (i) produce interpretations of neural responses and (ii) test whether model-brain alignment reflects primary or idiosyncratic variation in LM representations. Using a high-field 7T fMRI dataset of eight participants listening to 200 linguistically diverse sentences, we first validate our modeling framework by recovering previous interpretations of voxel populations tuned to processing difficulty and meaning abstractness. We then interpret a previously-uncharacterized (but reliable) voxel population and find that it is tuned to people-related content. Next, we show that the fronto-temporal human language network is predicted by a common set of features across its constituent regions, but find that frontal regions are relatively well-explained by surprisal alone, even in the absence of LM-based features. Finally, we show that brain responses are best explained by the features that tend to capture the most general information encoded in LM representations, suggesting a nontrivial correspondence between brain and LM language representation.
Flow matching and diffusion models enable conditional generation across domains ranging from images to proteins, with recent extensions to out-of-distribution contexts. Yet generative models of neural time series have largely remained restricted to categorical conditioning, precluding compositional and zero-shot generalization. In this work, we propose PINC-Flow, a per-timestep conditioned diffusion transformer for generating realistic fMRI brain dynamics during unseen cognitive tasks by injecting both compositional language and optional spatial priors in-context. Such zero-shot generation could enable counterfactual neuroscience by supporting in-silico design and evaluation of novel cognitive experiments before empirical validation. Leveraging this model, we evaluate across hundreds of held-out task conditions and characterize predictive performance in relation to the training manifold. From language alone, the model recovers region-specific recruitment across tasks and held-out spatial activation patterns. Spatial priors, when available, complement the text pathway by anchoring generation in regions of task space where language alone degrades, while retaining the compositional structure needed for counterfactual task specification. To our knowledge this is the first generative model of whole-cortex fMRI dynamics for unseen cognitive tasks, advancing counterfactual neuroscience and data-driven experimental design.
기능적 자기공명영상(fMRI)은 인간의 뇌 활동을 연구하는 데 널리 사용되는 영상 기법입니다. 뇌 전반에 걸친 여러 영역의 fMRI 신호는 개인이 휴식 상태에 있을 때조차도 고도로 구조화된 방식으로 활동을 일시적으로 동기화 및 비동기화합니다. 이러한 기능적 연결성 동역학(functional connectivity dynamics)은 행동 및 신경정신 질환과 관련이 있을 수 있습니다. 이러한 동역학을 모델링하려면 시계열 뇌 연결성 표현이 필수적인데, 이는 뇌 영역 간에 진화하는 상호작용을 반영하고 일시적인 신경 상태 및 네트워크 재구성에 대한 통찰을 제공하기 때문입니다. 그러나 기존의 그래프 신경망(GNN)은 동적 fMRI 데이터에서 장기 시계열 의존성(long-range temporal dependencies)을 포착하는 데 어려움을 겪는 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 기능적 링크 예측(functional link prediction) 및 연령 추정을 가능하게 하는 적응형 시계열 뇌 연결성 학습을 위한 비지도·비모수적 프레임워크인 BrainATCL을 제안합니다. 제안하는 방법은 새로 추가되는 엣지(edge)의 비율을 기반으로 각 스냅샷의 룩백 윈도우(lookback window)를 동적으로 조정합니다. 이후 그래프 시퀀스는 GINE-Mamba2 백본을 사용해 인코딩되어 Human Connectome Project의 1,000명 참가자로부터 얻은 휴지기 fMRI 데이터에서 동적 기능적 연결성의 시공간 표현을 학습합니다. 공간 모델링을 더욱 개선하기 위해, 뇌 영역의 좌/우 반구 정체성 및 하위 네트워크 소속과 같은 뇌 구조 및 기능 기반의 엣지 속성을 통합하여 모델이 생물학적으로 의미 있는 위상학적 패턴을 포착할 수 있도록 합니다. 우리는 기능적 링크 예측과 연령 추정이라는 두 가지 태스크에서 BrainATCL을 평가합니다. 실험 결과는 세션 간(cross-session) 예측 시나리오를 포함하여 우수한 성능과 강력한 일반화 능력을 입증합니다.
기능적 자기공명영상(fMRI)으로부터 강건한 표현을 학습하는 것은 이종 출처 데이터에 내재된 시간적 불규칙성과 노이즈로 인해 근본적인 어려움을 겪습니다. 기존의 자기지도학습(SSL) 방법들은 fMRI 신호를 이산화하거나 평균화함으로써 중요한 시간 정보를 버리는 경우가 많습니다. 이를 해결하기 위해, 우리는 자기지도학습을 확률적 최적 제어(SOC) 문제로 재구성하는 새로운 프레임워크를 소개합니다. 제안하는 접근법은 뇌 활동을 연속 시간 잠재 역학(continuous-time latent dynamics)으로 모델링하며, 시간적 불규칙성에 구애받지 않는 제어 정책을 최적화함으로써 뇌 역학의 강건한 표현을 학습합니다. 이러한 SOC 프레임워크는 마스크드 오토인코딩(MAE)과 결합 임베딩 예측(JEPA)을 자연스럽게 통합하여 간결한 제어 기반 표현을 추출합니다. 나아가, 시뮬레이션이 필요 없는(simulation-free) 추론 전략을 통해 대규모 fMRI 데이터셋에 대한 계산 효율성과 확장성을 보장합니다. 본 모델은 다양한 다운스트림 응용 전반에 걸쳐 최고 수준(SOTA)의 성능을 입증하며, SOC 기반 연속 시간 표현 학습 프레임워크의 잠재력을 강조합니다.
스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.
신경정신의학에서 1차 목표는 종종 뇌 활동을 해독하는 것에 그치지 않고, 예를 들어 부정적 정서 바이어스나 과도하게 두드러진 기억을 줄이는 것처럼 그 활동을 바꾸는 데 있다. 제어 이론(control theory)에 동기를 얻어, 우리는 후보 표상 변화를 제안하고 물리적 자극 없이 자극 유발 fMRI 활동의 스냅샷으로부터 그 예측된 지각 효과를 검증하는 AI 기반 신경-대리( neural-surrogate) 프레임워크를 개발한다. 이 프레임워크는 fMRI 디코딩, 심층 생성 모델링, 제약 잠재공간(latent-space) 조향(steering)을 결합한다. Valence와 memorability는 작업 예시로만 사용된다. 네 명의 깊이 샘플링된 Natural Scenes Dataset 참가자로부터 36,000건 이상의 이미지-fMRI 관측을 사용하여, 피험자별 모델은 시각 반응 피질에서 거친 생성 구조를 복원했다(양방향 동일시, 0.79–0.88; 우연, 0.5). 단계적 perturbation은 이미지로 재구성되었고, 18명 참가자의 7,200시행에 대한 자동 채점기와 인간 평가로 평가되었다. 주 VDVAE 모델에서 valence는 -0.61에서 +1.03 SD로, memorability는 -1.34에서 +1.45 SD로 이동했으며, 이후 Versatile Diffusion 정제(refinement)는 이러한 효과를 줄이거나 바꾸었다. 다섯 perturbation 수준에 걸쳐, 인간 valence 평점은 선형 시간 보정 모델에서 예측 방향으로 이동했다(평균 기울기, alpha 단위당 0.038 SD; 95% CI, 0.003–0.074; 18명 중 16명에서 양의 방향). 지각된 memorability는 신뢰할 만하게 변하지 않았다. 자동 평가자와의 기준선 일치는 valence에서 시사적(r = 0.30)이었고 memorability에서는 약했다(r = 0.10). 극단적 perturbation은 원래 자극에서 drift했으므로, 의도한 변화는 충실도(fidelity) 손실과 함께 저울질되어야 한다. 이러한 결과는 정신의학에서 미래 신경조절을 위한 후보 표상 표적을 설계하고 행동적으로 검증할 수 있는 반증 가능한 upstream 방법을 제공하면서, 현재 정적 근사의 한계를 표시한다.
기능적 자기공명영상(fMRI) 기반 실시간 폐쇄루프(closed-loop) 신경 피드백(neurofeedback)은 중요한 과학적·임상적 진전을 이끌어 왔다. 그러나 실시간 fMRI에 사용되는 분석 방법의 정교함은 fMRI 디코딩(decoding) 분야의 최신 기술(state-of-the-art)에 비해 뒤처져 있으며, 이는 주로 계산적 요인 때문이다. 대부분의 고급 디코딩 파이프라인은 실시간 처리 제약 범위 내에 들어가지 못하는데, 실시간 처리에서는 분석이 수 초 이내에 수행되어야 하고 세션 후반에 수집된 데이터를 활용할 수 없기 때문이다. 본 연구에서는 지각된 자연 이미지를 재구성하는 계산 집약적 최신 파이프라인(MindEye2)의 실시간 호환 적응 버전을 제시하고, 이 설정에서도 신뢰할 수 있는 세밀한(fine-grained) 디코딩이 여전히 가능함을 보여준다. 오픈소스 확장 가능 클라우드 기반 플랫폼 RT-Cloud를 사용하여 실시간 스캔을 수행했으며, 참가자에게 이미지가 제시된 후 수 초 이내에 단일 시행(single-trial) 시각 지각을 디코딩했다. 마지막으로 시뮬레이션 분석을 통해 오프라인에서 실시간 분석으로 전환할 때 성능 변화를 유발하는 요인들을 문서화했다. 본 연구는 이러한 강력한 fMRI 디코딩 파이프라인을 실시간 분석에 배치하는 것이 실현 가능함을 개념 증명(proof-of-concept)으로 제시하며, 과학적 발견과 임상 치료를 위한 뇌-컴퓨터 인터페이스(brain-computer interface) 활용의 길을 연다.
다중 피험자 시공간 데이터에서 공유 구조와 피험자별 구조를 모델링하는 일은 여전히 어려우며, 특히 신경영상에서는 공간·시간 패턴이 피험자 간에 풍부한 변동성을 보인다. 기존 행렬 및 텐서 분해는 해석 가능한 인수분해를 제공하지만, 고정된 다중선형 구조나 결합 방식에 의존하여 복잡한 변동성을 포착하는 유연성이 제한될 수 있다. 본 연구에서는 텐서 인수분해 생성 모델과 구조화된 사전을 결합하여 공간 맵과 시간 역학을 공동으로 표현하는 시공간 변분 텐서 분해(ST-VTD) 프레임워크를 제안한다. 공간 인자는 LL1 분해에서 영감을 받은 저랭크 구조를 촉진하도록 정규화되고, 시간 인자는 학습된 장단기 메모리(LSTM) 기반 사전으로 모델링되어 유연하고 적응적인 역학을 가능하게 한다. 사후 추론은 최적화 알고리즘의 반복을 언롤링하는 상각형 변분 정식화를 통해 수행되며, 해석 가능하고 매개변수 효율적인 아키텍처로 이어진다. 제안된 추론 프레임워크는 그룹 독립성분분석에 기반한 웜스타트 전략을 사용하며, 이는 최적화 성능을 향상시키는 것으로 나타났다. 현실적인 합성 기능적 MRI(fMRI) 데이터셋에 대한 실험은, 제안 방법이 대표적인 고전적·확률적 분해 벤치마크와 비교하여 잠재 인자 복원을 크게 향상시킴을 보여준다.
뇌 활동으로부터 동적 인간 얼굴을 재구성하는 것은 정신이 정체성, 표정, 얼굴 움직임을 어떻게 지각하는지 연구하는 강력한 방법을 제공한다. 그러나 fMRI 기반 얼굴 디코딩의 진전은 통제된 고해상도 신경 데이터셋의 부족과, 정체성 특유의 외형과 시간에 따라 변하는 얼굴 역학을 모두 복원하는 데 어려움을 겪는 방법들로 인해 제한되어 왔다. 우리는 1920×1080 해상도로 렌더링된 제어 가능한 Full-HD 디지털 인간 얼굴 비디오와 짝을 이루는 최초의 fMRI 데이터셋인 fMRI-Face를 제시한다. 스캔 중 참가자들은 정체성, 표정, 머리 자세가 통제된 사실적인 배경 없는 얼굴 비디오를 시청했으며, fMRI 활동이 기록되었다. 결과 데이터셋은 62,856개의 짝을 이룬 fMRI-비디오 샘플을 포함하며, 동적 얼굴 지각 및 재구성 연구를 위한 구조화된 자원을 제공한다. 이 데이터셋을 바탕으로, 우리는 fMRI 신호로부터 얼굴 비디오를 재구성하기 위한 기하학 유도 신경 비디오 디코딩 프레임워크인 fMRI2Face를 제안한다. fMRI2Face는 뇌 활동으로부터 두 가지 상보적인 신경 제어를 도출한다: 전역적 정체성 관련 시각 속성을 포착하는 Brain-derived Appearance Context와, 자세, 표정, 비강성(non-rigid) 얼굴 역학에 대한 명시적 기하학 인식(guidance)을 제공하는 Morphable 3D Facial Control. 이 제어들은 보조 잠재(latent) 완성을 갖춘 Neural-Controlled Video Diffusion을 통해 통합되어, 뇌 활동으로부터 직접 고충실도 얼굴 비디오 재구성을 가능하게 한다. 실험 결과 fMRI2Face는 대표적인 신경 디코딩 베이스라인 대비 재구성 충실도, 정체성 보존, 얼굴 기하학, 움직임 일관성을 일관되게 향상시킨다. fMRI-Face와 fMRI2Face는 함께 동적 얼굴 지각 연구를 위한 통제된 플랫폼을 구축하고, fMRI 기반 디지털 인간 재구성을 위한 새로운 벤치마크를 제공한다.
사람과 대규모 언어 모델(LLM)이 동일한 텍스트를 처리할 때, LLM의 활성화는 기능적 자기공명 영상(fMRI) 등으로 측정된 뇌 활동과 상관을 보인다. 더 나아가 LLM의 학습이 진행될수록, 그 내부 활성화로부터 뇌 활동을 예측하는 성능은 우반구보다 좌반구에서 더 크게 향상된다는 것이 밝혀졌다. 본 연구는 LLM이 습득한 어떤 종류의 능력이 이러한 좌-우 비대칭의 출현을 뒷받침하는지 이해하는 것을 목표로 한다. 다양한 학습 체크포인트의 OLMo-2 7B 언어 모델과 영어 화자 참가자의 fMRI 데이터를 사용하여, 뇌 활동과 모델 예측 간 상관에서의 좌-우 비대칭 변화를 여러 벤치마크 성능과 함께 비교한다. 우리는 이 비대칭이 LLM의 형식적 언어 능력과 함께 출현함을 관찰한다. 이러한 능력은 두 가지 방식으로 입증된다. 하나는 최소 대조 쌍 내에서 문법적으로 허용 가능한 문장에 허용 불가능한 문장보다 더 높은 확률을 부여하는 모델의 능력이고, 다른 하나는 잘 형성된(well-formed) 텍스트를 생성하는 능력이다. 반면, 좌-우 비대칭은 산술(arithmetic) 또는 Dyck 언어 과제에서의 성능과도, 세계 지식 및 추론을 포함하는 텍스트 기반 과제와도 일치하지 않는다. 우리는 이러한 결과를 다른 LLM 계열(Pythia)과 프랑스어와 중국어의 두 다른 언어로 일반화한다. 우리의 관찰은 뇌 예측력(predictivity)에서의 좌-우 비대칭이 형식적 언어 능력의 진행과 일치함을 나타낸다.
뇌 활동 디코딩은 뇌 과정을 특성화하고 인지의 기반이 되는 기능적 구조를 이해하는 데 유용하다. 그러나 뇌 반응 패턴의 개인 간 변동성은 개인을 넘어 일반화되는 디코더 개발을 제한한다. 이 문제의 해결책은 기능적 정렬(functional alignment)로, 집단 수준 디코더를 학습하기 전에 개인 간 기능 데이터를 정렬하는 것이다. 핵심 과제는 계산 효율성을 유지하면서 기능적 특징을 정렬하고 해부학적 구조를 보존하는 균형을 맞추는 것이다. 우리는 fMRI를 위한 새로운 기능적 정렬 방법인 SpectralOT를 소개하며, 이는 정렬을 정규화하기 위해 기능 데이터를 따라 Laplace-Beltrami 고유 모드에 피질 기하학을 임베딩한다.
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.
뇌 디코딩(brain decoding)은 뇌 신호로부터 자극 관련 표현을 추론함으로써 신경 메커니즘을 규명하는 것을 목표로 한다. fMRI 연구에서는 일반적으로 fMRI 반응을 계산 모델의 잠재 표현에 매핑하는 방식으로 이를 달성한다. 최근 CLIP은 풍부한 비전-언어(vision-language) 임베딩 공간 덕분에 뇌 디코딩에서 널리 활용되고 있다. 그러나 fMRI 신호를 CLIP 표현과 정렬하는 것은 여전히 어려운 과제이다. CLIP은 신경 정렬에 대해 명시적으로 최적화되어 있지 않기 때문에, 그 표현이 뇌 활동에 부분적으로만 반영되는 통계적 예측 단서를 포착할 수 있으며, 이는 디코딩 성능을 제한한다. 본 논문에서는 적대적으로 강건한 표현이 CLIP 기반 신경 디코딩을 개선하는지 조사한다. 적대적 학습(adversarial training)은 비강건 특징(non-robust feature)을 억제하고 보다 안정적이며 지각적으로 구조화된 표현을 촉진함으로써 뇌 활동과 더 잘 정렬될 수 있다. 이를 평가하기 위해 fMRI 디코더를 고정하고 NSD 및 GOD 데이터셋의 fMRI-이미지 검색 및 제로샷(zero-shot) 분류 과제에서 목표 표현만을 변경하여(표준 CLIP 대 강건 변형) 실험하였다. 실험 결과, 이 단순한 변경이 과제 성능을 일관되게 향상시키고 다양한 지표에서 더 강한 정렬을 보임을 확인하였다. 귀인 분석(attribution analysis)은 표준 CLIP과 강건 변형 간에 일관되게 낮은 일치도를 보여, 적대적 강건성이 시각 표현에서의 특징 중요도를 재편성함을 시사한다. 이러한 결과는 목표 표현의 선택이 신경 디코딩 성능에 영향을 미치며, 적대적 강건성이 뇌 디코딩의 유용한 기준으로 활용될 수 있음을 제안한다.
다기관 fMRI 기반 신경정신과 진단에서 스캐너 이질성으로 인한 도메인 시프트와 임상 개인정보 보호 규정을 동시에 해결하기 위해, BrainRiem은 Log-Euclidean Metric과 Dirichlet Energy 스펙트럼 보정을 활용한 다양체 인식 이중 레벨 최적화로 압축된 리만 뇌 프로토타입을 학습하는 소스 없는 도메인 적응 프레임워크를 제안한다. ABIDE와 REST-meta-MDD 벤치마크에서 기존 소스 없는 방법 및 전통적 도메인 적응 방법을 일관되게 능가하며, 학습된 프로토타입이 신경과학적으로 해석 가능한 연결성 패턴을 보임을 검증하였다.
Human Connectome Project 23개 과제 상태에 대해 마스크 fMRI 재구성 전이 학습 기반 인지 태스크노미를 단일 소스에서 다중 소스로 확장하고, 불리언 정수 프로그래밍(BIP)으로 예산 제약 과제 할당을 분석했다. 운동 과제는 패러다임 내 전이는 강하나 교차 패러다임 지원은 제한적이고, 다대일 과제 관계는 소스 집합 구성에 따라 달라 쌍wise 전이만으로는 충분히 설명되지 않으며, 0-back·2-back 작업 기억 상태가 감독 예산 할당에서 반복적으로 우선 선택된다.
비침습적 뇌 신호로부터 내면 언어를 디코딩하는 것은 명시적 언어 출력의 부재, 제한된 학습 데이터, 그리고 피험자 간 큰 변동성으로 인해 근본적인 난제로 남아 있다. 기존 뇌-텍스트 접근법은 종종 과제별 디코더 미세조정에 의존하며, 이는 확장성을 제한하고 새로운 참가자에 대한 적응을 복잡하게 만든다. 우리는 fMRI 신호로부터 기본 언어 모델을 수정하지 않고 개방형 텍스트 생성을 가능하게 하는 분리된 2단계 뇌-언어 프레임워크인 MindAlign을 제안한다. 1단계에서는 fMRI 활동을 공유 다중모달 의미 공간으로 매핑하는 피험자별 신경-의미 정렬을 학습하여, 내부적으로 생성된 문장의 잠재 의미 스케치를 추출한다. 2단계에서는 이 스케치를 시각적 맥락과 통합하여 동결된 다중모달 언어 모델에 프롬프트를 제공하고 자유 형식 생성을 수행한다. 무성 이미지 묘사 중 수집된 fMRI 데이터에 대한 실험은 제안된 접근법이 fMRI 전용 및 무작위 기준선을 일관되게 능가함을 보여준다. 우리는 또한 학습된 의미-언어 투영이 피험자 간 일반화될 수 있음을 보여주며, 피험자별 신경 정렬과 결합할 때 효과적인 디코딩을 가능하게 한다. 이 결과는 신경 신호가 이미지 기반 사전분포를 넘어 의미 내용을 변조한다는 것을 나타내며, 뇌-텍스트 디코딩을 위한 확장 가능하고 모듈화된 방향을 뒷받침한다.
전뇌 4D fMRI 생성은 기능적 뇌 역학 모델링에 가치가 있으나, 기존 fMRI 파운데이션 모델은 주로 조건부 예측 생성보다는 표현 학습과 다운스트림 예측을 목표로 합니다. 우리는 전뇌 4D fMRI 역학을 위한 구조적 사전 조건 생성 모델인 BrainWorld를 소개합니다. BrainWorld는 sMRI를 피험자 수준의 해부학적 맥락으로 사용하여 미래 fMRI 생성을 안내하며, 구조적 정보를 병렬 모달리티로 취급하는 대신 노이즈 제거 과정에 통합합니다. 다양한 코호트와 뇌 상태에 걸친 22개 데이터셋에서 평가된 결과, BrainWorld는 최대 400 프레임에 이르는 안정적인 4D fMRI 궤적을 생성하고, 생성 예제 증강을 통해 다운스트림 성능을 향상시키며, 기준선보다 우수한 전이 가능한 멀티모달 표현을 학습합니다. 이러한 결과들은 BrainWorld가 장기 뇌 역학 모델링 및 멀티모달 표현 학습을 위한 조건 인식 생성 프레임워크임을 확립합니다.
대규모 언어 모델(LLM)과 인간의 고차 인지를 뒷받침하는 신경 메커니즘 사이의 대응 관계는 아직 충분히 규명되지 않았다. 인간 뇌에서 언어와 추론이 분리 가능해 보인다는 점을 고려할 때, LLM이 추론 관련 영역의 신경 신호와 정렬되는지, 그리고 이러한 신호가 모델을 개선할 수 있는지는 여전히 열린 질문이다. 본 연구에서는 연역적 추론에 초점을 맞춰, LLM의 내부 표현이 과제 유발 fMRI 활동과 부분적으로 정렬될 뿐만 아니라 이러한 신호로 직접 향상될 수 있음을 보인다. 신경 예측 가능성(neural-predictivity) 지표를 사용하여, LLM이 집계 수준에서 추론 관련 영역의 설명 가능한 분산의 상당 부분을 설명함을 발견했으며, 특정 추론 유형 내에서는 예측 가능성이 더 낮아 정렬과 분기 모두를 시사한다. 이를 바탕으로 뇌 유도 프레임워크를 제안한다: 모델과 뇌 표현의 결합 구조가 유도하는 방향을 따라 모델 표현을 조종하고, 추론 시 개입을 적용하며 학습 중 미세조정을 수행한다. 과제 유발 뇌 신호가 LLM 추론을 직접 향상시킬 수 있음을 보여주며, 10개 LLM(1.5B-72B)에 걸쳐 언어 전용 감독과 직교적인 이득을 산출하고, 추론 유형 간 전이와 최대 13% 절대 정확도 향상을 달성한다. 우리 결과는 LLM-뇌 대응 관계를 상관에서 안내로 발전시키며, 더 견고하고 인지적으로 정렬된 AI를 향한 뇌 신호 기반 경로를 확립한다.
신경과학에서 대규모 심층 학습 모델의 성공은 심각한 데이터 이질성에 의해 근본적으로 제한받습니다. 다양한 소스에서 수집된 원본 fMRI 데이터는 공간 및 시간 해상도 모두에서 상당한 차이를 보입니다. 결과적으로, 대부분의 기존 프레임워크는 데이터셋 간의 균일성을 강제하는 길고 경직된 전처리 파이프라인에 의존합니다. 이러한 관행은 두 가지 중요한 제한 사항을 야기합니다: (1) 피험자 특이적 해부학적 정보의 잠재적 손실, (2) 피험자당 수 시간의 처리가 필요한 경우가 많은 상당한 계산 오버헤드. 여기서 우리는 Mamba-JEPA를 기반으로 하는 원본 fMRI용 해상도 무관 복셀 수준 인코딩 프레임워크인 FlexiBrain을 제안합니다. FlexiBrain은 실제 물리적 단위로 패치 크기를 정의하고 동적 패치 리사이징을 사용하여, 파괴적인 공간 표준화를 우회하면서 원본 공간의 데이터를 직접 입력할 수 있게 합니다. 우리는 고차원 4D fMRI 신호를 모델링하기 위해 효율적인 Mamba-JEPA 백본을 사용하여 이 프레임워크를 구현했습니다. 5가지 다양한 다운스트림 신경과학 작업에서 FlexiBrain은 외부 데이터 증강 없이 최대 12%포인트의 향상을 달성하며 최신 최첨단 방법들을 일관되게 능가했습니다. 중요하게도, FlexiBrain은 매끄러운 플러그인 모듈로 기능하여 전처리 비용을 상당히 줄이고 강력한 복셀 수준 fMRI 파운데이션 모델의 개발을 가속화합니다. 코드는 https://github.com/OneMore1/FlexiBrain에서 확인할 수 있습니다.
사람이 이미지를 볼 때 기록된 fMRI 신호로부터 시각 콘텐츠를 디코딩하고, 특히 본 이미지에 대한 질문에 답하는 것은 오랜 난제이다. 최근 몇 년간 fMRI 기반 시각 질의응답(VQA)에서 상당한 진전이 있었지만, 성능은 여전히 제한적이다. 더욱이 최근 모델들은 점점 더 정확한 예측을 할 수 있게 되었지만, 뇌의 시각 표현 구조를 이해하기 위한 도구로는 거의 사용되지 않았다. 우리는 fMRI로부터 시각 질의응답을 수행하는 프레임워크인 Brain-IT-VQA를 제안한다. Brain Interaction Transformer(Brain-IT)를 기반으로, 우리 방법은 뇌 활동으로부터 언어 토큰을 디코딩하고 이를 언어 모델과 통합하여 시각적 질문에 답한다. 우리 모델은 이전 fMRI 기반 캡셔닝 및 VQA 접근법을 크게 능가한다. 또한 fMRI 기반 시각 질의응답을 위한 새로운 데이터셋이자 벤치마크인 NSD-VQA를 도입한다. 기존 이미지-fMRI VQA 데이터셋이 일반적으로 이미지당 몇 개의 광범위하고 약하게 통제된 질문만 제공하는 것과 달리, NSD-VQA는 다양한 수준의 시각 이해를 분리하는 20개의 통제된 질문 범주에 걸쳐 이미지당 평균 20개의 질문-답변 쌍을 제공한다. 이는 제한된 fMRI 테스트 데이터에도 불구하고 더 신뢰할 수 있고 해석 가능한 평가를 가능하게 한다. Brain-IT-VQA와 NSD-VQA는 함께 강력한 예측 프레임워크와 뇌 표현 연구를 위한 도구를 제공한다. 이 벤치마크를 사용하여 자연 이미지에 대한 fMRI 반응으로부터 어떤 형태의 시각 및 의미 정보가 신뢰할 수 있게 디코딩될 수 있는지 정량화한다. 또한 질문 유형에 따른 서로 다른 뇌 영역의 기여를 분석한다.