We develop a quantitative theory of the Random Language Model (RLM), an ensemble of stochastic context-free grammars, in a scaling limit where the number of hidden symbols $N \to \infty$ while the grammar temperature $\tilde\epsilon_d \to 0$ at fixed $x = \tilde\epsilon_d \log N$. In this limit, the model admits a controlled description based on a large-deviation principle over rule-usage patterns. A semi-annealed approximation maps the problem to a class of Random Energy Models with nontrivial combinatorics. We show that the RLM exhibits a freezing transition at a critical value $x_c=1/8$, below which rule usage condenses on a subset of preferred rules and language statistics acquire a nontrivial dependence on corpus length. A second characteristic scale at $x=1/2$, associated with the breakdown of Gaussian fluctuations, separates transition and babbling regimes. Across regimes, we derive explicit scaling laws for the number of distinct rules, entropy, and energy, identifying distinct frozen and critical regimes controlled by the interplay of grammar size, corpus length, and temperature. The theory resolves previous ambiguities regarding the existence of a thermodynamic transition and explains the slow approach to the large-$N$ limit as a consequence of the dependence on $\log N$. It further provides a unified framework in which universal statistical properties of language emerge from typical realizations of generative grammars, with implications for both natural language statistics and the behavior of large language models. Heaps' law and Zipf's law are both derived, and the dependence of predictive entropy on context length is rationalized. Comparison with empirical measurements of Heaps' and Zipf's laws yields parameter estimates for real languages.
본 논문에서는 $N$개의 정규화된 토큰, $Q=K=I$, 그리고 음의 값 맵 $V=-I$를 갖는 최소 순환 트랜스포머(recurrent transformer)의 비평형 동역학을 연구합니다. 유사도 기반 어텐션은 인접한 표현을 선택하는 반면, 음의 값 맵은 선택된 장(field)으로부터 토큰을 밀어냅니다. 이러한 피드백은 표현 기하학과 어텐션 네트워크 모두를 지속적으로 재구성할 수 있습니다. $d=2$일 때 토큰들은 원 위에 놓이며, 정다각형은 정확한 고정점이 됩니다. 어텐션 피드백 강도 $\gamma$가 증가함에 따라 정다각형은 플립 분기(flip bifurcation)를 통해 안정성을 잃고, 주기 2(period-two) 운동, 혼돈(chaos), 그리고 클러스터 교환 또는 클러스터 플립 상태를 발생시킵니다. 이러한 시간적 복잡성에도 불구하고, 유한하고 고정된 소프트맥스 첨예도 $\beta$에서 $N\to\infty$일 때 어텐션은 확산된(diffuse) 상태를 유지합니다. 대신 어텐션 응축은 $\beta\sim N^2$ 스케일링 체제에서 창발합니다. 하드 라우팅 극한에서는 척력적 업데이트가 국소 섭동을 증폭하고 라우팅 파트너 전환이 이를 탄도학적으로 전달하여, 표현 공간에서 창발적인 버터플라이 콘(butterfly cone)을 형성합니다. 고차원 기하학은 국소화로 향하는 별도의 경로를 제공합니다. $d=N\to\infty$의 경우, 가우시안 초기 조건에서의 시뮬레이션은 동적으로 생성된 유한한 중첩 간극에 의해 유도되는 $\beta=O(1)$에서의 응축 전이(condensation transition)에 대한 증거를 제시합니다. $\gamma$에 따라 나타나는 상에는 확산된 단체형(simplex-like) 상태, 합의 플립(consensus flips), 혼돈의 징후를 보이는 응축된 활성 라우팅, 파편화된 클러스터 플립이 포함됩니다. 이러한 결과는 시간적 활성, 어텐션 응축, 기하학적 클러스터링이 서로 구별되는 집합적 현상임을 규명하며, 희소 어텐션(sparse attention)이 동역학을 동결시키기보다는 지속적인 동역학을 유지할 수 있음을 보여줍니다.
열역학적 평형 상태의 구성(configuration)을 샘플링하는 것은 통계물리학의 오랜 난제이다. 볼츠만 생성기(Boltzmann generator)는 생성 모델을 활용하여 독립적인 구성을 제안한 뒤, 정확한 가능도(likelihood) 평가를 이용한 중요도 샘플링(importance sampling)을 통해 가중치를 재조정함으로써 이 문제를 해결한다. 연속 정규화 흐름(continuous normalizing flow) 및 플로우 매칭(flow matching)에 기반한 최근의 볼츠만 생성기는 입자계와 생체 분자에서 상당한 성공을 거두었다. 그러나 이러한 접근법은 평형 샘플링이 극도로 느린 것으로 악명 높은 비정질 재료(유리)로 확장되지 못했다. 무질서한 구조로 인해 비정질 재료의 불변성(invariance)과 기하학적 제약 조건은 결정이나 생체 분자와 달라 기존 생성 모델을 직접 적용하기 어렵다. 본 논문에서는 필요한 등변성(equivariance)을 리만 확률적 보간(Riemannian stochastic interpolant)에 직접 구축하여 비정질 재료에 특화된 볼츠만 생성기를 개발한다. 제안하는 프레임워크는 등변 그래프 신경망(equivariant graph neural network)을 활용하여 주기적 경계 조건(periodic boundary condition)과 입자 대칭성을 반영한다. 수치 실험을 통해 물리적 대칭성을 강제하는 것이 볼츠만 생성기의 정확도를 크게 향상시킴을 입증하는 한편, 연속 흐름 공식화의 본질적인 한계도 규명한다. 즉, 가능도 적분 과정에서 누적된 수치 오차로 인해 시간 가역성(time-reversibility)이 깨지고 엄밀한 열역학적 재가중이 저해된다는 점이다. 이러한 결과는 통계역학 분야에서 연속 흐름 생성 모델이 직면한 근본적인 과제를 드러내며, 엄밀한 열역학적 일관성을 보존하는 대안적 접근 방식의 필요성을 시사한다.
상관 통계는 순환 신경망의 집합적 역학을 특성화하는 핵심 물리량이다. 우리는 가우시안 quenched 무질서(disorder) 체제에서 뉴런 수 N이 큰 극한에 대해 체계적인 1/N 보정을 포함한 비선형 순환 네트워크의 상관 통계에 대한 정확한 표현식을 유도한다. 우리의 접근법은 네트워크 확률적 역학의 경로 적분(path-integral) 표현을 사용하여 기술을 소수의 집합적 변수로 축소하고 효율적인 계산을 가능하게 한다. 이는 선형 네트워크에 대한 기존 결과를 일반화하여 경로 적분에서 상호작용 항으로 등장하는 광범위한 비선형 활성화 함수 계열을 포함한다. 이러한 상호작용은 선형 이론의 불안정성을 해소하고 엄격하게 양수인 참여 차원(participation dimension)을 산출할 수 있다. 우리는 거듭제곱 법칙(power-law) 활성화에 대한 명시적 결과를 제시하며, 네트워크 결합에 의해 제어되는 스케일링 거동을 밝힌다. 또한 파데 근사(Padé approximants)에 기반한 활성화 함수 계열을 도입하고 그 상관 통계에 대한 해석적 예측을 제공한다. 수치 시뮬레이션은 이론적 결과와 탁월한 일치도를 보이며 이를 확인한다. 아울러 annealed 무질서의 상보적 경우를 연구한 기존 연구들과 비교하고, 이를 바탕으로 유색 잡음(colored noise)의 더 일반적인 경우에 대한 새로운 자기 일관 방정식(self-consistent equation)을 제안한다.
30년 동안 통계역학은 신경망을 분석하는 프레임워크를 제공해 왔다. 그러나 이론적으로 다루기 쉬운 모델들—예를 들어 퍼셉트론(perceptron), 랜덤 특징 모델, 커널 머신, 또는 뉴런 수가 적은 다중 지표(multi-index) 모델과 위원회(committee) 머신—은 응용에서 사용되는 모델에 비해 단순한 상태로 남아 있다. 본 논문에서는 일반적인 가중치 분포와 활성화 함수를 갖춘 2층 완전연결 신경망의 지도 학습에 대한 통계물리학 분석을 통해, 실용적 네트워크와 이에 대한 이론적 이해 사이의 격차를 줄이는 데 기여한다. 이 네트워크의 은닉층은 크지만 입력 차원에 비례하는 크기를 유지한다. 이는 특징 학습이 일어나지 않는 무한 너비 네트워크보다 현실적이면서, 좁은 네트워크나 내부 가중치가 고정된 네트워크보다 표현력이 크다. 우리는 교사-학생(teacher-student) 시나리오에서 베이즈 최적 학습에 초점을 맞춘다. 즉, 동일한 구조의 다른 네트워크가 생성한 데이터셋을 사용한다. 우리는 학습 가능한 파라미터 수와 데이터 수가 비슷하고 특징 학습이 나타나는 보간 근처에서 분석을 수행한다. 우리의 분석은 데이터 수가 증가함에 따라 다양한 학습 전이가 나타나는 풍부한 현상론을 밝혀낸다. 특히, 특징(즉, 타깃의 은닉 뉴런)이 관측된 응답에 더 강하게 기여할수록, 이를 학습하는 데 필요한 데이터는 더 적다. 게다가 데이터가 부족할 때, 모델은 교사의 가중치와 정렬(align)하여 "특화(specialise)"하는 대신 교사 가중치의 비선형 결합만을 학습한다. 특화는 충분한 데이터가 확보될 때만 일어나지만, 실용적 학습 알고리즘에서는 이를 찾기 어려울 수 있으며, 이는 아마도 통계-계산(statistical-to-computational) 격차 때문일 것이다.
호필드 모델은 원래 스핀 유리에서 영감을 받았으며, 통계역학, 신경망, 인공지능의 교차점에서 중심적인 위치를 차지한다. 개념적 단순성과 넓은 적용 가능성에도 불구하고, 학부 물리학 교육과정에 거의 통합되지 않는다. 우리는 호필드 모델을 학부 물리학 교육과정의 핵심 주제들을 자연스럽게 통합하는 교육적으로 풍부한 프레임워크로 제시하며, 모델의 에너지 함수, 동역학, 패턴 안정성과 같은 개념에 기반한 간결한 소개를 제공한다. 시뮬레이션의 실용적 측면을 논의하고 시뮬레이션 코드를 제공한다. 또한 학부 수업에 포함할 수 있도록 연구 실무를 반영하도록 설계된 문제들을 제안한다.