PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.23345v1cs.AI

추상 표상 기하학은 대규모 언어 모델의 추론을 지원한다

Abstract representational geometry supports inference in large language models

인간 지능의 정의적 특징은 희소한 관측으로부터 잠재적 과제 구조를 추론하여 변화하는 환경에 적응하는 능력이다. 신경과학 연구에 따르면, 이 능력은 해마가 신경 상태 공간에서 저차원의 거의 직교인 매니폴드(manifold)로 표현되는 추상적 표상을 구성하는 데 의존한다. 그러나 대규모 언어 모델(LLM)의 내부 메커니즘은 여전히 대체로 불투명하여, 유사한 추론 과제를 수행할 때 비교 가능한 추상적 표상을 형성하는지, 아니면 과제 특이적 통계적 규칙성에 의존하는지가 불분명하다. 본 연구에서는 맥락적 반전 학습(contextual reversal-learning) 패러다임을 텍스트 기반 설정에 적용하고, 행동 및 표상 수준에서 인간과 LLM을 비교한다. LLM은 인간보다 일반화 가능한 추론을 덜 자주 보이지만, 그러한 추론이 발생할 때 내부 상태는 해마에서 보고된 것과 유사한 추상적 기하 구조를 나타낸다고 보고한다. 특히, 이 표상 기하학은 균일하게 분포되지 않고 모델 깊이에 걸쳐 계층적으로 조직화된다. 하위 층은 자극 정체성의 초기적이고 안정적인 인코딩을 보이는 반면, 상위 층은 추론과 관련된 추상적 맥락 기하학이 풍부한 해마 유사 기능 밴드를 형성한다. 또한, 보완적 개입 실험은 추론에서 기하학을 기계적으로 연관짓는다. 과제 시퀀스 언어 모델링은 기하학적 분리(disentanglement)를 유도하는 반면, 상위 층의 기하학적 정규화는 일반화 가능한 추론의 출현을 증가시킨다. 이러한 발견을 종합하면, 추상적 표상 기하학이 대규모 언어 모델에서 추론을 지원하는 기계적 원리임을 확립한다.