시각적 타깃의 중요성: Brain-to-Image Retrieval을 위한 시각 계층 전반 학습
The Visual Target Matters: Learning across the Visual Hierarchy for Brain-to-Image Retrieval
뇌-이미지 검색(brain-to-image retrieval)은 비침습적 신경 반응을 유발한 시각 자극을 식별하는 것을 목표로 한다. 후보 이미지는 일반적으로 사전학습된 비전 모델로 표현되며, 그 내부 표현은 깊이에 따라 추상화 수준이 달라진다. 기존 방법은 보통 신경 인코더가 고정된 최종 층 시각적 타깃을 복원하도록 학습한다. 이 공식화에서는 시각 계층이 하나로 정해진 종점으로 축소되어, 다른 깊이의 표현이 시각적 타깃을 직접 형성하는 데 기여하지 못한다. 이 한계는 여러 시각적 깊이의 정보가 검색 타깃에 어떻게 기여해야 하는지를 학습해야 한다는 동기가 된다. 이를 위해 우리는 NeuroGlyph를 제안한다. NeuroGlyph는 동결된 시각 백본의 여러 깊이로부터 시행(trial)에 독립적인 시각적 타깃을 학습한다. NeuroGlyph는 타깃을 요인별 부분공간으로 분해한다. 각 부분공간은 시각적 깊이에 대한 이미지 조건부 할당을 학습한다. 그렇게 얻은 부분공간들은 검색을 위해 하나의 임베딩으로 융합된다. THINGS-EEG와 THINGS-MEG 전반에서 NeuroGlyph는 모든 통제 비교에서 최종 층 지도(final-layer supervision)를 능가한다. 또한 사후(post hoc) 최적 고정 층 오라클을 네 번의 비교 중 세 번에서 능가한다. 매개변수를 맞춘 ablation은 요인 분해 타깃 구성과 이미지 조건부 깊이 할당을 모두 뒷받침한다. 동등한 200-way 검색 프로토콜에서 NeuroGlyph는 보고된 8개 지표 중 6개에서 최고의 시스템 수준 성능을 달성한다. 이 결과는 하나의 시각적 깊이를 고정하는 대신 시각 계층 전반에 걸친 검색 타깃 학습을 뒷받침한다.