arXiv:2611.19848v1 cs.LG

언어 모델의 학습과 추론을 설명하는 상도

A phase diagram for training and inference in language models

Zhuo-Yang Song, Zeyu Li, Qing-Hong Cao, Ming-xing Luo, Hua Xing Zhu

제출 2026-11-17

한국어 초록

언어 모델은 트랜스포머와 말뭉치가 함께 행동을 결정하는 복잡계다. 그러나 트랜스포머의 표현 기하가 언어 모델의 실제 행동과 어떤 관련이 있는지는 아직 밝혀지지 않았다. 본 연구는 실제 언어 모델의 순전파 과정에서 표현 기하가 어떻게 변하는지 분석한다. 주어진 층의 문서 표현 기하는 문서 구별도와 문서 차원이라는 두 집단 좌표로 나타낸다. 이 두 좌표로 구성한 상도에서 추론은 층의 깊이에 따른 흐름으로 표현된다. 학습하지 않은 모델에서는 초기화 규모에 따라 156개 추론 흐름의 대부분이 상도의 붕괴 영역과 잡음 영역을 향했다. 반면 다섯 아키텍처 계열에 속하는 학습된 모델 여덟 종의 추론 흐름은 모두 상도의 중앙 영역에 들어가 머물렀다. 흐름의 변화를 이산 랑주뱅 방정식으로 기술하자, 학습하지 않은 모델과 학습한 모델 사이의 차이는 이 영역에서 흐름에 작용하는 유효 힘이 안장점 유형인지 안정 결절점 유형인지로 설명할 수 있었다. Pythia-1.4B의 학습 과정은 상전이로 해석한다. 이 결과는 표현 기하와 언어 모델 행동의 관계를 통합적으로 이해할 방법을 제시한다.

원문 초록

A language model is a complex system whose behavior is determined jointly by the Transformer and the corpus, yet how the representation geometry in the Transformer relates to the actual behavior of language models remains open. We analyze how the representation geometry changes along the forward propagation of actual language models and characterize the representation geometry of a document at a given layer by two collective coordinates, document distinguishability and document dimension. On the phase diagram spanned by these collective coordinates, inference is represented as a flow along depth. We find that, for untrained models, depending on their initialization scale, most of the 156 inference flows move toward the collapse and noise regions of the phase diagram. By contrast, the inference flows of 8 trained models from 5 architecture families all enter and reside in the central region of the phase diagram. Describing the evolution of the flows with a discrete Langevin equation, we find that the difference between the inference flows of untrained runs and those of trained models reduces to whether the effective force on the flows in this region is of saddle or stable-node type. On Pythia-1.4B, we interpret the training process as a phase transition. These results give a unified gateway to the relation between representation geometry and language-model behavior.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19848v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.