arXiv:2610.13763v1 cs.CV

Neurons++: 신경-시각 해석 가능성을 갖춘 fMRI 기반 이미지 및 비디오 재구성을 위한 통합 시각 경로 프레임워크

Neurons++: A Unified Visual-Stream Framework for Image and Video Reconstruction from fMRI with Neural-to-Visual Interpretability

Haonan Wang, Yuchen Wang, Jingyu Lu, Qixiang Zhang, Lehan Wang, Xuanqi Huang, Xiaomeng Li

제출 2026-10-09

한국어 초록

fMRI로부터 시각적 경험을 디코딩하는 것은 인간의 지각을 이해하고 뇌-컴퓨터 인터페이스(BCI)를 개발하는 데 중요합니다. 최근의 생성형 디코딩 방법들은 그럴듯한 이미지와 비디오를 재구성할 수 있지만, 시각적 개연성만으로는 출력이 뇌 활동에 충실하게 그라운딩(grounding)되었음을 보장하지 못합니다. 본 연구에서는 정적 이미지와 동적 비디오 재구성 모두를 위한 시각 경로(visual-stream) fMRI 재구성 프레임워크인 Neurons++를 제안합니다. 학술대회 버전인 Neurons와 비교하여, Neurons++는 비디오 전용 재구성 패러다임을 이미지와 비디오 모두를 위한 시각 경로 재구성으로 확장하며, 병렬 작업 컨디셔닝을 대뇌 피질에서 영감을 받은 직렬 디코딩으로 대체합니다. 이 모델은 먼저 안정적인 공간-의미론적 초기화를 얻기 위해 이미지-fMRI 사전학습을 사용한 다음, 이미지 및 비디오 재구성을 위해 피험자별 미세조정을 각각 수행합니다. 이러한 직렬 설계는 fMRI 유래 표현을 명시적인 공간적, 의미론적, 언어 수준 및 시간적 단서로 구성합니다. 광범위한 실험을 통해 Neurons++가 표준 벤치마크 전반에서 최고 수준의 비디오 재구성과 경쟁력 있는 이미지 재구성 성능을 달성함을 보여줍니다. 재구성 충실도를 넘어, 신경-시각 분석에 따르면 Neurons++는 신경 섭동 하에서 정성적인 방향성 제어 가능성을 나타내며, fMRI 인코더 판독이 자극 관련 피질 특징에 민감하고, 관심 영역(ROI) 유도 의미론적 조절을 지원함을 보여줍니다. 코드와 모델 가중치는 https://github.com/xmed-lab/NeuronsPlusPlus 에서 확인할 수 있습니다.

원문 초록

Decoding visual experience from fMRI is important for understanding human perception and developing brain-computer interfaces. Recent generative decoding methods can reconstruct plausible images and videos, but visual plausibility alone does not ensure that the output is faithfully grounded in brain activity. In this work, we propose Neurons++, a visual-stream fMRI reconstruction framework for both static image and dynamic video reconstruction. Compared with our conference version Neurons, Neurons++ extends the paradigm from video-only reconstruction to visual-stream reconstruction for both images and videos, and replaces parallel task conditioning with serial cortex-inspired decoding. The model first uses image-fMRI pretraining to obtain a stable spatial-semantic initialization, and then performs subject-specific fine-tuning for image and video reconstruction separately. The serial design organizes fMRI-derived representations into explicit spatial, semantic, language-level, and temporal cues. Extensive experiments show that Neurons++ achieves state-of-the-art video reconstruction and competitive image reconstruction across standard benchmarks. Beyond reconstruction fidelity, neural-to-visual analyses indicate that Neurons++ exhibits qualitative directional controllability under neural perturbation, that its fMRI encoder read-out is sensitive to stimulus-relevant cortical features, and that it supports ROI-guided semantic modulation. Code and model weights are available at: https://github.com/xmed-lab/NeuronsPlusPlus.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13763v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22753v1cs.CV공통 태그 Image Reconstruction, brain-computer interface

fMRI로부터 인간 시각 지각의 실시간 재구성

Real-time Reconstruction of Human Visual Perception from fMRI

기능적 자기공명영상(fMRI) 기반 실시간 폐쇄루프(closed-loop) 신경 피드백(neurofeedback)은 중요한 과학적·임상적 진전을 이끌어 왔다. 그러나 실시간 fMRI에 사용되는 분석 방법의 정교함은 fMRI 디코딩(decoding) 분야의 최신 기술(state-of-the-art)에 비해 뒤처져 있으며, 이는 주로 계산적 요인 때문이다. 대부분의 고급 디코딩 파이프라인은 실시간 처리 제약 범위 내에 들어가지 못하는데, 실시간 처리에서는 분석이 수 초 이내에 수행되어야 하고 세션 후반에 수집된 데이터를 활용할 수 없기 때문이다. 본 연구에서는 지각된 자연 이미지를 재구성하는 계산 집약적 최신 파이프라인(MindEye2)의 실시간 호환 적응 버전을 제시하고, 이 설정에서도 신뢰할 수 있는 세밀한(fine-grained) 디코딩이 여전히 가능함을 보여준다. 오픈소스 확장 가능 클라우드 기반 플랫폼 RT-Cloud를 사용하여 실시간 스캔을 수행했으며, 참가자에게 이미지가 제시된 후 수 초 이내에 단일 시행(single-trial) 시각 지각을 디코딩했다. 마지막으로 시뮬레이션 분석을 통해 오프라인에서 실시간 분석으로 전환할 때 성능 변화를 유발하는 요인들을 문서화했다. 본 연구는 이러한 강력한 fMRI 디코딩 파이프라인을 실시간 분석에 배치하는 것이 실현 가능함을 개념 증명(proof-of-concept)으로 제시하며, 과학적 발견과 임상 치료를 위한 뇌-컴퓨터 인터페이스(brain-computer interface) 활용의 길을 연다.

arXiv:2607.12364v1cs.CV공통 태그 Image Reconstruction, brain-computer interface

시각 번역에서 길을 잃다: EEG-이미지 재구성을 위한 비전-언어 모델(VLM) 기반 지각-의미 일관성 프레임워크

Lost in Visual Translation: A VLM-Assisted Perceptual-Semantic Coherence Framework for EEG-to-Image Reconstruction

EEG-이미지 평가는 시각적 충실도와 복원 가능한 의미를 구분해야 한다. 그러나 EEG 기반 재구성은 흐릿하고 왜곡되며 세부 정보가 부족해, SSIM, LPIPS, CLIP이 의미적으로 복원 가능한 출력을 불이익 주거나 그럴듯하지만 잘못된 출력에 보상을 줄 수 있다. 우리는 ATM, ENIGMA, BrainVis, DreamDiffusion의 6,855개 정답/재구성 쌍을 의미 탐침, 캡션 가혹도 및 맹점(blind-spot) 비율, 제어된 열화를 통해 분석한다. 픽셀 지표는 의미적 일관성과 거의 상관관계가 없으며, 표현 지표는 지각적 오류와 의미적 오류를 혼동한다. 따라서 뇌-컴퓨터 인터페이스(BCI) 인지 프레임워크를 도입하여, 네 개의 비전-언어 모델(VLM)이 구조화된 질문을 통해 이미지 쌍을 평가하고 Tolerant Perceptual Alignment Score(T-PAS)와 Tolerant Semantic Alignment Score(T-SAS)를 산출한다. 이들의 합의는 BCI 일관성 점수(BCI-Coherence Score, BCS)로 응축되며, 이는 본 데이터에서 T-PAS MAE 0.079(r = 0.700) 및 T-SAS MAE 0.082(r = 0.850)를 달성하는 간결한 평가기이다. 인간 검증은 Cohen's kappa = 0.882 ± 0.174 및 Krippendorff's alpha = 0.882로 매우 신뢰할 수 있는 공동 일관성 판단을 보여 주며, 일반적인 시각 유사성보다 지각-의미 복원 가능성을 뒷받침한다. 코드와 자료는 https://sukt03.github.io/BCS/에서 이용할 수 있다.

arXiv:2511.11437v2cs.CV공통 태그 Image Reconstruction, fmri decoding

Hi-DREAM: ROI 인코더와 시각 매핑을 통한 fMRI-이미지 재구성을 위한 뇌 영감 계층적 확산

Hi-DREAM: Brain-Inspired Hierarchical Diffusion for fMRI-to-Image Reconstruction via ROI Encoder and VisuAl Mapping

fMRI로부터 자연 이미지를 재구성하려면 신경 활동을 현대 생성 모델이 사용하는 구조적·의미적 표현과 연결해야 합니다. 기존 확산 기반 디코더들은 단일 전역 fMRI 임베딩을 조건으로 사용하는 경우가 많아, 시각 피질의 계층적 구조를 활용하는 데 한계가 있고 서로 다른 시각 영역의 기여도를 파악하기 어렵습니다. 우리는 Hi-DREAM을 제안합니다. 이는 뇌에서 영감을 받은 계층적 확산 프레임워크로, fMRI 조건화를 초기·중간·후기 시각 관심 영역(ROI) 스트림에 따라 구조화합니다. ROI 어댑터는 이 스트림들을 다중 스케일 피질 피라미드로 변환하고, 경량 ROI 조건부 ControlNet이 노이즈 제거 과정에서 해부학적으로 인식된 사전 정보를 매칭되는 U-Net 깊이에 주입합니다. Natural Scenes Dataset(NSD)에서의 실험 결과, Hi-DREAM은 강력한 저수준 구조를 유지하면서 최신(state-of-the-art) 고수준 의미 재구성을 달성함을 보여줍니다. 추가적인 절제 실험 및 귀인 분석을 통해, 제안된 계층 인식 조건화가 효과적임을 확인하였으며, 서로 다른 ROI 스트림이 재구성에 상호 보완적이고 해석 가능한 기여를 제공함을 확인하였습니다.

arXiv:2506.11139v3eess.IV공통 태그 Image Reconstruction공식 코드 · Papers with Code

그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.