arXiv:2407.10414

Teaching CORnet Human fMRI Representations for Enhanced Model-Brain Alignment

Zitong Lu, Yile Wang

제출 2024-07-15

원문 초록

Deep convolutional neural networks (DCNNs) have demonstrated excellent performance in object recognition and have been found to share some similarities with brain visual processing. However, the substantial gap between DCNNs and human visual perception still exists. Functional magnetic resonance imaging (fMRI) as a widely used technique in cognitive neuroscience can record neural activation in the human visual cortex during the process of visual perception. Can we teach DCNNs human fMRI signals to achieve a more brain-like model? To answer this question, this study proposed ReAlnet-fMRI, a model based on the SOTA vision model CORnet but optimized using human fMRI data through a multi-layer encoding-based alignment framework. This framework has been shown to effectively enable the model to learn human brain representations. The fMRI-optimized ReAlnet-fMRI exhibited higher similarity to the human brain than both CORnet and the control model in within-and across-subject as well as within- and across-modality model-brain (fMRI and EEG) alignment evaluations. Additionally, we conducted an in-depth analyses to investigate how the internal representations of ReAlnet-fMRI differ from CORnet in encoding various object dimensions. These findings provide the possibility of enhancing the brain-likeness of visual models by integrating human neural data, helping to bridge the gap between computer vision and visual neuroscience.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.22182v1cs.CV공통 태그 Object Recognition, EEG

3D 시각 지각을 위한 이중 스트림 EEG 디코oding

Dual-Stream EEG Decoding for 3D Visual Perception

본 논문은 생물학적 시각을 모방한 이중 경로(dual pathway) 아키텍처를 통해 3D 형상(shape) 지각을 위한 새로운 뇌 디코딩 모델을 탐구한다. 우리의 생체 모방(bio-inspired) 접근법은 연속 회전 중 ventral pathway와 dorsal pathway에서 영감을 받아 물체 정체성(object identity)과 공간 방향(spatial orientation)을 위한 별도의 디코딩 모듈을 구현한다. 각도 예측에는 원형 회귀(circular regression)를 사용하고, 3D 재구성을 위해 EEG 조건부 다중 시점(multiview) diffusion을 개발한다. 우리 접근법은 EEG 신호에서 물체 정체성과 공간 방향을 모두 성공적으로 디코딩하고 신경 활동으로부터 3D 재구성을 가능하게 하며, 해석 가능성 분석은 물체 및 각도 디코딩을 지원하는 과정에서 정적인 ventral 우세가 아니라 ventral, dorsal, 운동(motor) 관련 채널의 시간적으로 구조화된 관여를 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.