Neurons++: 신경-시각 해석 가능성을 갖춘 fMRI 기반 이미지 및 비디오 재구성을 위한 통합 시각 경로 프레임워크
Neurons++: A Unified Visual-Stream Framework for Image and Video Reconstruction from fMRI with Neural-to-Visual Interpretability
fMRI로부터 시각적 경험을 디코딩하는 것은 인간의 지각을 이해하고 뇌-컴퓨터 인터페이스(BCI)를 개발하는 데 중요합니다. 최근의 생성형 디코딩 방법들은 그럴듯한 이미지와 비디오를 재구성할 수 있지만, 시각적 개연성만으로는 출력이 뇌 활동에 충실하게 그라운딩(grounding)되었음을 보장하지 못합니다. 본 연구에서는 정적 이미지와 동적 비디오 재구성 모두를 위한 시각 경로(visual-stream) fMRI 재구성 프레임워크인 Neurons++를 제안합니다. 학술대회 버전인 Neurons와 비교하여, Neurons++는 비디오 전용 재구성 패러다임을 이미지와 비디오 모두를 위한 시각 경로 재구성으로 확장하며, 병렬 작업 컨디셔닝을 대뇌 피질에서 영감을 받은 직렬 디코딩으로 대체합니다. 이 모델은 먼저 안정적인 공간-의미론적 초기화를 얻기 위해 이미지-fMRI 사전학습을 사용한 다음, 이미지 및 비디오 재구성을 위해 피험자별 미세조정을 각각 수행합니다. 이러한 직렬 설계는 fMRI 유래 표현을 명시적인 공간적, 의미론적, 언어 수준 및 시간적 단서로 구성합니다. 광범위한 실험을 통해 Neurons++가 표준 벤치마크 전반에서 최고 수준의 비디오 재구성과 경쟁력 있는 이미지 재구성 성능을 달성함을 보여줍니다. 재구성 충실도를 넘어, 신경-시각 분석에 따르면 Neurons++는 신경 섭동 하에서 정성적인 방향성 제어 가능성을 나타내며, fMRI 인코더 판독이 자극 관련 피질 특징에 민감하고, 관심 영역(ROI) 유도 의미론적 조절을 지원함을 보여줍니다. 코드와 모델 가중치는 https://github.com/xmed-lab/NeuronsPlusPlus 에서 확인할 수 있습니다.