Water looks unchanged as it warms, then at a critical point it boils. We ask whether long-horizon language agents show an analogous transition in their ability to maintain an accurate representation of the evolving world state. In some parameter settings, a small change in a task parameter, or adding a single step to the task, leaves behavior nearly unchanged; near a critical boundary, the same small change causes a sudden collapse. We study this effect in a deterministic task family where the true world state is known at every step. A large grid search over state size, state dependency, horizon, number of available actions, observation mode, and frequency of state changes reveals a phase diagram: a low-stress region where the agent consistently succeeds, a narrow region where success drops sharply, and a high-stress region where the agent consistently fails. Step-by-step traces show the mechanism: the agent loses track of the true world before its actions become invalid, so the agent is not merely choosing a bad action; it is acting from a corrupted world. Stronger models reach the critical boundary later but do not eliminate the sharp transition. These results make world-model collapse a measurable bottleneck for long-horizon agents. Code will be made publicly available soon.
폭 $k$와 입력 차원 $d$가 크고 비례하는, 완전히 학습된 2층 신경망을 사용하는 지도 학습의 teacher-student 모델을 고려한다. 임의의 활성화 함수에 대해, 표본 크기 $n$이 입력 차원과 이차적으로 스케일링하는 영역, 즉 학습 가능한 파라미터 수 $kd+k$와 데이터 $n$이 비슷한 보간 임계값 근처에서, 신경망의 베이즈 최적 일반화 오차를 근사하는 유효 이론을 제공한다. 분석은 일반적인 가중치 분포를 다룬다. "범용(universal)" 단계와 "특화(specialisation)" 단계를 구분하는 불연속 상전이를 밝혀낸다. 전자에서는 일반화 오차가 가중치 분포와 무관하며 샘플링 비율 $n/d^2$에 따라 느리게 감쇠하고, 학생 모델은 교사 가중치의 일부 비선형 결합만 학습한다. 후자에서는 오차가 가중치 분포에 의존하며, 학생 모델이 교사 신경망을 향해 정렬(alignment)되면서 더 빠르게 감쇠한다. 따라서 보간 근처에 매우 예측력 있는 해가 존재함을 밝히지만, 실용적인 알고리즘으로는 찾기 어려울 수 있다.
측정-유도 얽힘(MIE)은 국소 측정이 장거리 양자 상관관계를 생성하고 다체 시스템에서 동역학적 상전이를 유도하는 방식을 포착한다. 그러나 MIE를 실험적으로 추정하는 것은 여전히 어려운 과제이다. 직접 평가는 측정 결과에 대한 광범위한 사후 선택을 필요로 하며, 이는 MIE가 다항식 자원만으로 접근 가능한지의 문제를 제기한다. 우리는 이 과제를 상태 준비에 대한 사전 지식을 가정하지 않는 데이터 기반 학습 문제로 재구성함으로써 해결한다. 측정 기록만을 사용하여, MIE의 불확실성 지표—평균 측정 후 이분 얽힘의 상한과 하한 사이의 간격—를 예측하도록 신경망(neural network)을 자기지도 방식으로 학습시킨다. 1차원 전체 연결 회로망을 가진 랜덤 회로에 적용한 결과, 우리의 방법은 회로 깊이가 증가함에 따라 학습 가능성 전이를 드러낸다. 임계값 이하에서는 MIE를 시스템 크기에 대해 다항식으로만 증가하는 자원으로 효과적으로 학습할 수 있는 반면, 임계값 이상에서는 필요한 자원이 지수적으로 증가한다. 이 계산적 상전이는 기저 양자 상태의 효율적인 고전 시뮬레이션의 한계와 일치한다. 또한 현재의 잡음이 있는 양자 소자에서도 이 전이의 특징을 관측한다. 이러한 결과는 MIE 학습을 위한 데이터 기반 접근법의 잠재력을 부각시키고, MIE의 고전적 학습 가능성의 실용적 한계를 규명한다.
경험적 손실 함수를 케일리 트리(Cayley tree) 위의 깁스 측도(Gibbs measures) 상호작용 퍼텐셜로 해석하는 데이터 기반 에너지 기반 학습 프레임워크를 제안하며, 단일 최적 파라미터 대신 가능한 추론 상태들의 전체 확률 분포를 모델링한다. 이 계층적 학습 시스템이 상전이(phase-transition) 현상을 나타낼 수 있음을 이론적으로 증명하고, 임계 역온도를 초과할 때 여러 평형 예측 체제가 공존하는 현상을 수치 실험으로 입증한다.
본 연구에서는 학습자가 최종 추천을 기권할 수 있는 베이지안 고정 예산 최적 팔 식별(best-arm identification) 문제를 다룬다. 기권 예산 $α$를 제약으로 두고, 기권 없이 열등한 팔을 추천할 위험인 미탐지 오류 확률을 분석한다. 핵심 발견은 기권이 위상 전이를 유발한다는 점이다. 기권이 없을 경우 오류 확률은 샘플링 예산 $T$에 대해 다항식적으로 감소하지만, 임의의 작은 양의 기권 예산을 도입하면 지수적 감소로 전환된다. 가우시안 사전 분포(prior)와 보상에 대해, $T\to\infty$ 후 $α\downarrow0$인 체제에서 최적 오류 지수에 대한 정보이론적 하한과 알고리즘 상한을 정확하게 일치시켜 도출하며, 이 지수는 $\exp(-\frac{α^{2}T}{8κ_ν^{2}})$ 형태를 취한다. 난이도 매개변수 $κ_ν$는 상위 두 팔 간 격차가 0에서의 사전 밀도를 나타내며, 거의 동점인 인스턴스가 근본적인 오류를 유발함을 부각한다. 우리는 통계적으로 모호한 인스턴스에 기권 예산을 집중 투입하여 이 최적 지수를 달성하는 적응형 알고리즘 PGWS를 제안한다. 나아가 이 다항식-지수 개선이 베이지안 현상에 국한됨을 입증한다. 빈도주의(frequentist) 환경에서는 기권이 하위 차수의 지수 항에만 영향을 미친다. 또한 가우시안 모델을 넘어 결과를 확장한다.
언어 모델의 정렬(alignment)은 일반적으로 능력 벤치마크의 관점에서 연구되지만, 사후 학습(post-training) 과정에서 모델이 어떻게 변화하는지에 대한 역학은 아직 충분히 이해되지 않고 있다. 우리는 물리 과학, 특히 열역학적 상전이(thermodynamic phase-transition) 이론이 이러한 역학을 추론하기 위한 원칙적이고 미개척된 어휘를 제공한다고 주장한다. 사례 연구로서, 우리는 잘 연구된 열역학적 상전이인 물질 결정화(Crystallization)의 관점에서 이 입장을 구체화한다. 난수 생성과 같은 작업의 경우, 이는 3단계로 나뉜다: (1) 사전학습된 모델에서의 고엔트로피 액체 단계로, 모델로부터 프롬프트를 통해 이끌어낼 수 있는 다양한 샘플링 분포가 존재하는 단계; (2) 지도 파인튜닝(supervised finetuning)에 의해 야기되는 핵생성(nucleation) 단계로, 행동이 사전학습된 대규모 언어 모델(LLM)에 존재하는 단일 시드 분포로 붕괴되는 단계; (3) 강화학습(reinforcement learning) 기법이 붕괴된 분포의 확률을 재분배하지만, 대체로 시드 분포와 동일한 선택지에 집중된 상태를 유지하는 안정화 단계. 우리는 이러한 단계들 간의 전이를 검증하기 위한 직관적인 지표를 제안하고, 다양한 무작위 작업에 걸쳐 이 아이디어를 검증한다. 결정화는 우리가 정렬 연구에서 도입해야 한다고 믿는 더 넓은 물리적 프레임워크 클래스의 한 사례로, 정렬로 인한 구조가 어디에서 비롯되는지, 왜 현재의 위치로 수렴하는지, 그리고 근본적으로 무엇을 변경할 수 없는지에 대한 질문에 답하기 위한 것이다.
통계 물리학의 예측은 고정된 개수 $K$의 커뮤니티를 가진 확률적 블록 모델(SBM)에서 커뮤니티 복구가 Kesten-Stigum (KS) 임계값보다 위에서만 다항 시간 내에 가능하다고 가정합니다. 이 추측은 KS 임계값 위의 SBM에서 자명하지 않은 커뮤니티 복구가 실제로 가능하다는 것을 증명하는 풍부한 연구로 이어졌습니다. 관측된 그래프의 노드 수를 $n$이라 할 때, $K\ll \sqrt{n}$인 한 KS 임계값 아래에서 저차 다항식(LDP)의 실패 또한 증명되었습니다. $K\geq \sqrt{n}$일 때, Chin et al.(2025)은 최근 희소(sparse) 영역에서 비역행 경로(non-backtracking paths)를 계수함으로써 KS 임계값 아래에서도 다항 시간 내 커뮤니티 복구가 가능하다는 것을 증명했습니다. 이 획기적인 발견은 그들이 $K\geq \sqrt{n}$인 다중 커뮤니티 영역에 대한 새로운 임계값을 가정하게 이끌었습니다. 본 연구에서는 그들의 추측을 뒷받침하는 증거를 제시합니다: 1- 임의의 그래프 밀도에 대해, Chin et al.(2025)이 가정한 임계값 아래에서 LDP가 커뮤니티를 복구하는 데 실패함을 증명합니다; 2- LDP 분석에서 영감을 받은 특정 모티프(motifs)의 발생 횟수를 계수함으로써, Chin et al.(2025)에서 고려된 희소(sparse) 영역뿐만 아니라 중간 희소(moderately sparse) 영역에서도 가정된 임계값 위에서 다항 시간 내 커뮤니티 복구가 가능함을 증명합니다. 특히, 비역행 연산자(Non-Backtracking operator)에 기반한 스펙트럴 알고리즘(spectral algorithms)과 밀접하게 관련된 길이 $\log(n)$의 자기 회피 경로(self-avoiding paths) 계수는 희소 영역에서만 최적입니다. 더 조밀한 영역에서는 사이클의 확대(blow-up)에 기반한 더 복잡한 모티프를 고려해야 합니다.
어텐션은 트랜스포머에서 문맥 내 학습(in-context learning)을 기반으로 하는 핵심 메커니즘이며, 어텐션 패턴은 학습 도중 급격하게 창발하는 것으로 경험적으로 관찰되었습니다. 우리는 어텐션에서의 특징 학습(feature learning)에 대한 베이지안 이론을 제시하고, 이어서 귀납 헤드(induction head)의 첫 번째 층에 있는 카피 서브회로(copy subcircuit)가 어떻게 학습되는지 집중적으로 살펴보기 위해 카피 작업(copy task)에서 학습된 단일 층 소프트맥스 어텐션 네트워크를 분석합니다. 우리는 어텐션 행렬에 대한 닫힌 형식의 사후 분포(closed-form posterior)를 도출하고 이를 저차원 순서 매개변수 공간으로 축소합니다. 이러한 축소는 학습 데이터 양에 따른 상전이(phase transition)를 드러내며, 우리는 이를 베이지안 샘플링과 Adam을 사용한 표준 학습을 통해 검증합니다. 우리는 이 결과를 선형 어텐션(linear attention)과 대조해 본 결과, 소프트맥스 어텐션은 1차 상전이(first-order phase transition)를 나타내는 반면, 선형 어텐션에서는 초기 2차 상전이(second-order phase transition) 이후 구조화된 어텐션 패턴으로 향하는 부드럽고 연속적인 진화(crossover)가 뒤따르는 것을 발견했습니다. 우리의 연구는 대규모 언어 모델(LLM) 학습에서 관찰된 것과 유사한 카피 서브회로의 급격한 창발에 대한 제일원리(first-principles) 이론적 설명을 제공합니다.
강건 부공간 복구(Robust Subspace Recovery, RSR)는 아웃라이어(outlier)로 심하게 오염된 데이터셋에서 기저의 d차원 부공간을 식별하는 것을 목표로 합니다. 복잡도 이론적 결과는 차원 스케일 신호 대 잡음비(Dimension-Scaled Signal-to-Noise Ratio, DS-SNR)에 기반하여 문제의 계산적 난이도에 대한 임계값을 설정합니다: DS-SNR이 1보다 엄격하게 작으면 문제는 SSE-hard이며, 일반 위치 가정(general position assumptions) 하에서 DS-SNR이 1보다 크면 실용적인 알고리즘을 통해 해결 가능합니다. 그러나 임계 경계인 DS-SNR = 1에서 실용적인 알고리즘의 정확한 거동은 여전히 알려져 있지 않았습니다. 본 연구는 이 임계 경계에서 Tyler의 M-추정량(Tyler's M-estimator, TME)의 거동을 규명하여, 결과적으로 급격한 상전이(sharp phase transition)를 확립합니다. 구체적으로, 기존 문헌에서 사용된 일반 위치 가정보다 덜 제한적인 새로운 안정성 조건 하에서, DS-SNR이 1 이상일 때 TME가 실제 부공간으로 정확히 수렴함을 증명합니다. 본 분석은 우선화-최소화(majorization-minimization) 프레임워크 내에서 TME 반복 과정의 분해를 활용합니다.