PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2403.11207v3cs.CV공식 코드 · Papers with Code

MindEye2: 피험자 공유 모델로 1시간의 데이터만으로 fMRI에서 이미지 복원

MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data

뇌 활동으로부터 시각 지각을 재구성하는 기술은 크게 향상되었으나, 이러한 방법의 실용성은 제한적이었다. 이는 이러한 모델이 피험자별로 독립적으로 학습되며, 각 피험자가 고품질 결과를 얻기 위해 수십 시간에 달하는 고비용 fMRI 학습 데이터를 필요로 하기 때문이다. 본 연구는 단 1시간의 fMRI 학습 데이터만으로 고품질 재구성을 달성함을 보인다. 7명의 피험자에 걸쳐 모델을 사전학습한 뒤, 새로운 피험자의 최소한의 데이터로 미세조정한다. 새로운 기능적 정렬 절차는 모든 뇌 데이터를 피험자 공유 잠재 공간으로 선형 사상하고, 이어서 공유된 비선형 사상을 통해 CLIP 이미지 공간으로 매핑한다. 그다음 Stable Diffusion XL이 텍스트 대신 CLIP 잠재 벡터를 입력으로 받도록 미세조정하여 CLIP 공간에서 픽셀 공간으로 매핑한다. 이 접근법은 제한된 학습 데이터에서 피험자 외 일반화를 향상시키며, 단일 피험자 접근법과 비교하여 최첨단 이미지 검색 및 재구성 지표도 달성한다. MindEye2는 MRI 시설을 한 번 방문하는 것만으로도 지각의 정확한 재구성이 가능함을 보여준다. 모든 코드는 GitHub에서 공개되어 있다.