PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13763v1cs.CV

Neurons++: 신경-시각 해석 가능성을 갖춘 fMRI 기반 이미지 및 비디오 재구성을 위한 통합 시각 경로 프레임워크

Neurons++: A Unified Visual-Stream Framework for Image and Video Reconstruction from fMRI with Neural-to-Visual Interpretability

fMRI로부터 시각적 경험을 디코딩하는 것은 인간의 지각을 이해하고 뇌-컴퓨터 인터페이스(BCI)를 개발하는 데 중요합니다. 최근의 생성형 디코딩 방법들은 그럴듯한 이미지와 비디오를 재구성할 수 있지만, 시각적 개연성만으로는 출력이 뇌 활동에 충실하게 그라운딩(grounding)되었음을 보장하지 못합니다. 본 연구에서는 정적 이미지와 동적 비디오 재구성 모두를 위한 시각 경로(visual-stream) fMRI 재구성 프레임워크인 Neurons++를 제안합니다. 학술대회 버전인 Neurons와 비교하여, Neurons++는 비디오 전용 재구성 패러다임을 이미지와 비디오 모두를 위한 시각 경로 재구성으로 확장하며, 병렬 작업 컨디셔닝을 대뇌 피질에서 영감을 받은 직렬 디코딩으로 대체합니다. 이 모델은 먼저 안정적인 공간-의미론적 초기화를 얻기 위해 이미지-fMRI 사전학습을 사용한 다음, 이미지 및 비디오 재구성을 위해 피험자별 미세조정을 각각 수행합니다. 이러한 직렬 설계는 fMRI 유래 표현을 명시적인 공간적, 의미론적, 언어 수준 및 시간적 단서로 구성합니다. 광범위한 실험을 통해 Neurons++가 표준 벤치마크 전반에서 최고 수준의 비디오 재구성과 경쟁력 있는 이미지 재구성 성능을 달성함을 보여줍니다. 재구성 충실도를 넘어, 신경-시각 분석에 따르면 Neurons++는 신경 섭동 하에서 정성적인 방향성 제어 가능성을 나타내며, fMRI 인코더 판독이 자극 관련 피질 특징에 민감하고, 관심 영역(ROI) 유도 의미론적 조절을 지원함을 보여줍니다. 코드와 모델 가중치는 https://github.com/xmed-lab/NeuronsPlusPlus 에서 확인할 수 있습니다.

arXiv:2511.11437v2cs.CV

Hi-DREAM: ROI 인코더와 시각 매핑을 통한 fMRI-이미지 재구성을 위한 뇌 영감 계층적 확산

Hi-DREAM: Brain-Inspired Hierarchical Diffusion for fMRI-to-Image Reconstruction via ROI Encoder and VisuAl Mapping

fMRI 신호를 단일 전역 임베딩 대신 초기·중간·후기 시각 피질 관심 영역(ROI) 스트림으로 구조화하여 계층적 확산(diffusion) 조건화를 수행하는 Hi-DREAM 프레임워크를 제안한다. ROI 어댑터와 경량 ROI-ControlNet을 통해 해부학적 사전 정보를 U-Net의 해당 깊이에 주입함으로써, Natural Scenes Dataset(NSD)에서 고수준 의미 재구성과 저수준 구조 복원 모두에서 최고 성능(state-of-the-art)을 달성하였다.