유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.
인간과 인공지능 시스템이 환경(environment)과 상호작용하며 예측하고 계획하는 방식을 이해하는 것은 신경과학과 머신러닝의 접점에 위치한 근본적인 과제입니다. 기존의 대부분의 뇌 인코딩(brain-encoding) 연구는 언어 이해나 수동적인 시각 처리 과정에서 인공 모델(model)을 뇌 활동과 정렬(alignment)하는 데 집중해 온 반면, 상호작용적인 뇌 정렬 연구는 지금까지 주로 강화학습(RL) 에이전트와 이론 기반 모델에 국한되어 있었습니다. 이러한 공백을 메우기 위해, 본 연구에서는 참가자들이 자연스러운 아타리(Atari) 스타일의 비디오 게임을 플레이하는 동안 측정한 fMRI 기록을 활용하여 두 가지 파운데이션 모델 유형인 비전-언어 모델(VLM)과 대규모 액션 모델(LAM)의 대표 모델들에 대한 뇌 정렬을 조사합니다. 구체적으로, 행동 중심 프롬프트(prompt)와 추론 중심 프롬프트가 모델의 내부 표현 및 fMRI 뇌 활동과의 정렬에 미치는 영향을 살펴봅니다. 첫째, VLM과 LAM 모두 복셀 단위 인코딩 성능에서 강화학습 기준선(baseline)보다 유의미하게 더 높은 성능을 달성했으며, 특징(feature) 차원을 일치시킨 조건에서도 이러한 우위가 유지됨을 확인했습니다. 둘째, 프롬프트가 없는 기준선과 비교했을 때, 개별 영역별 편차는 존재하나 관심 영역(ROI) 그룹 평균 기준으로 프롬프트로 인한 성능 향상은 초기 시각 피질보다 고위 전두-두정엽 및 운동 계획 영역에서 대략 2-2.5배 더 크게 나타났습니다. 셋째, 분산 분할(variance partitioning) 분석 결과 질적으로 상이한 표현 구조가 드러났습니다. VLM 표현은 프롬프트 대칭적(고유 행동 12.4% 대 고유 추론 9.5%)인 반면, LAM 표현은 행동 지배적(고유 행동 25.6% 대 고유 추론 -8.2%)이었으며, 이러한 비대칭성은 전두-운동 피질에서 가장 두드러졌습니다. 종합적으로 이러한 결과는 행동 특화가 멀티모달 게임 상태 표현에서 뚜렷한 피질 정렬 패턴과 연관되어 있음을 보여주며, 유사한 예측 정확도 이면에 숨겨진 차이점을 밝혀냅니다.