The internal representations learned by language models consistently exhibit striking geometric structure: calendar months organize into a circle, historical years form a smooth one-dimensional manifold, and cities' latitudes and longitudes can be decoded using a linear probe. To explain this neural code, we first show that language statistics exhibit translation symmetry (for example, the frequency with which any two months co-occur in text depends only on the time interval between them). We prove that this symmetry governs these geometric structures in high-dimensional word embedding models, and we analytically derive the manifold geometry of word representations. These predictions empirically match large text embedding models and large language models. Moreover, the representational geometry persists at moderate embedding dimension even when the relevant statistics are perturbed (e.g., by removing all sentences in which two months co-occur). We prove that this robustness emerges naturally when the co-occurrence statistics are controlled by an underlying latent variable. Our results indicate that these representational manifolds originate in the statistical symmetries of natural language.
신경 집단의 표상 신뢰도에 관한 현재 모델들은 시간적 안정성, 즉 집단 중심점이 세션과 일 단위에 걸쳐 보존되는지에 초점을 맞춘다. 이러한 틀은 근본적인 질문을 미해결로 남긴다: 자극 간 쌍별 거리 구조가 세션 내 독립적 관측에 걸쳐 얼마나 신뢰롭게 재현되는가? 우리는 이 속성, 즉 기하학적 안정성이 기존 프레임워크가 포착하지 못하는 표상 분석의 독립적 축을 구성한다고 주장한다. 우리는 기하학적 안정성을 분할-반분 표상 비유사성 행렬(Shesha) 간의 스피어만 순위 상관으로 공식화하고, 이것이 시간적 안정성 및 디코딩 정확도 모두와 경험적으로 분리 가능함을 보인다. 시각 변별 과제(Steinmetz et al. 2019)에서 68개 뇌 영역에 걸친 229개 영역-세션 관측에 걸쳐, 기하학적 안정성은 시행별 신경-행동 결합을 예측하는 반면($ρ= 0.18$, $p = 0.005$), 중심점 드리프트는 그렇지 않다($ρ= 0.002$, $p = 0.976$). 선조체가 가장 안정적이고($\bar{S} = 0.44$), 해마가 가장 낮은($\bar{S} = 0.19$) 영역별 위계는 시간적 안정성 위계와 대략 반대 방향으로 나타난다. 방향적으로 일관된 후각 데이터(Bolding & Franks 2018)는 순환 흥분성 결합이 희소한 전방향 입력으로부터 자극 패턴을 완성함으로써 분할-반분 RDM 일관성을 증폭시키는 어트랙터 네트워크 모델($ρ= +0.64$, $p = 0.010$)을 동기화하며, 기하학적 안정성이 어떻게 출현하는지에 대한 회로 수준의 설명을 제공한다. 이러한 결과들은 기하학적 안정성을 시간적 드리프트 측정과 직교하고 해마 회로에서 순환 연결성이 표상 안정성과 순차적 다이나믹스 간의 균형을 맞추는 방식에 관한 최근 연구와 상보적인, 신경 집단 코드의 기능적으로 관련된 회로 의존적 속성으로 확립한다.
인간 지능의 정의적 특징은 희소한 관측으로부터 잠재적 과제 구조를 추론하여 변화하는 환경에 적응하는 능력이다. 신경과학 연구에 따르면, 이 능력은 해마가 신경 상태 공간에서 저차원의 거의 직교인 매니폴드(manifold)로 표현되는 추상적 표상을 구성하는 데 의존한다. 그러나 대규모 언어 모델(LLM)의 내부 메커니즘은 여전히 대체로 불투명하여, 유사한 추론 과제를 수행할 때 비교 가능한 추상적 표상을 형성하는지, 아니면 과제 특이적 통계적 규칙성에 의존하는지가 불분명하다. 본 연구에서는 맥락적 반전 학습(contextual reversal-learning) 패러다임을 텍스트 기반 설정에 적용하고, 행동 및 표상 수준에서 인간과 LLM을 비교한다. LLM은 인간보다 일반화 가능한 추론을 덜 자주 보이지만, 그러한 추론이 발생할 때 내부 상태는 해마에서 보고된 것과 유사한 추상적 기하 구조를 나타낸다고 보고한다. 특히, 이 표상 기하학은 균일하게 분포되지 않고 모델 깊이에 걸쳐 계층적으로 조직화된다. 하위 층은 자극 정체성의 초기적이고 안정적인 인코딩을 보이는 반면, 상위 층은 추론과 관련된 추상적 맥락 기하학이 풍부한 해마 유사 기능 밴드를 형성한다. 또한, 보완적 개입 실험은 추론에서 기하학을 기계적으로 연관짓는다. 과제 시퀀스 언어 모델링은 기하학적 분리(disentanglement)를 유도하는 반면, 상위 층의 기하학적 정규화는 일반화 가능한 추론의 출현을 증가시킨다. 이러한 발견을 종합하면, 추상적 표상 기하학이 대규모 언어 모델에서 추론을 지원하는 기계적 원리임을 확립한다.