Attention heads specialize into distinct functions during training, often emerging in stages together with sharp changes in model behavior. While this phenomenon has mostly been studied as a function of training time, we ask how head specialization depends on the amount of available training data. Empirically, we find that heads specialized to syntactic relations in BERT emerge as the dataset size increases. We then study this phenomenon in a solvable high-dimensional model of multi-head attention and establish that, in this model, head specialization is a genuine phase transition in sample complexity, corresponding to a non-analyticity in the test error and other observables. Depending on data structure and regularization, specialization can follow uninformative head differentiation or occur through a cascade of phase transitions that progressively recover weaker latent features, providing a statistical form of simplicity bias. Finally, we relate these statistical transitions to the stagewise emergence of specialized heads during online learning, disentangling statistical from dynamical origins of head specialization.
Most practical combinatorial optimization problems involve constraints, and an Ising machine that flips one spin at a time can respect them only through energy penalties that raise barriers between feasible solutions. Here we show that a higher-order neuromorphic Ising machine can enforce constraints through programmable transitions rather than penalties. In an autoencoder-like architecture, each inner-layer neuron represents a move, a family of multi-spin transitions that maps every feasible state to another feasible state, receives the energy change of its move through connections that outer-layer neurons multiplicatively switch on or off, and updates the state through the same connections. A compiler turns constraints into this wiring with a number of auxiliary clauses that grows only polynomially for parity, cardinality, one-hot, partition and permutation constraints. Restricting the search to feasible states reduces constraint handling to move design, and we show that the fastest-annealing moves are not those that mix fastest but those that lower the deepest energy barriers, and that moves chosen from the objective lower them further than random ones. On third-order graph matching, the machine needs orders of magnitude fewer iterations than penalty-based neuromorphic machines. Configured as a sampler on a field-programmable gate array, it decodes the surface code with maximum-likelihood accuracy up to code distance 15 within 52 $\mu$s per shot and, under noisy syndrome measurements, decodes in real time for millisecond measurement rounds up to distance 9 with fewer logical errors than belief-propagation decoders.
We argue that pattern recognition and step-by-step reasoning are two ends of a spectrum. A large language model (LLM) learns to reason step-by-step when data is structured such that the next token depends on a small amount of preceding context. Inference in LLMs resembles pattern recognition when the next token depends on a large amount of preceding context. If the next token depends on only the $c$ most recent tokens, reasoning traces are paths on a de Bruijn graph whose nodes are $c$-length contexts and edges are next-token transitions between contexts. The set of reasoning traces of a task forms a directed acyclic subgraph of the de Bruijn graph. An LLM that has learned all edges of this subgraph can compose them to solve longer, unseen tasks, i.e., it reasons step-by-step. We prove that the number of edges is vanishingly small compared to the number of reasoning traces. We also prove and show empirically that the number of training samples a transformer needs is a linear in the number of edges, so learning to reason step-by-step is sample efficient. We can induce de Bruijn structure in any task by maintaining a ``state'' that makes future reasoning independent of the past. The frequency of states in the reasoning trace determines $c$. We show, by fine-tuning Qwen2.5-1.5B-Instruct to solve equations and answer questions about stories, that frequent states (small $c$) result in higher accuracy but greater fragility to perturbations at test time. LLMs trained with a large $c$ are only as good as models that perform pattern recognition without reasoning. A moderate density of states balances accuracy and robustness. Real-world data has de Bruijn structure: Qwen3-14B and Qwen3-32B retain over 75\% of their accuracy on GSM8K, MATH-500 and GPQA-Diamond when attention is restricted to a sliding window less than 15\% as long as the full reasoning trace.
Principal Component Analysis (PCA) is a standard tool for extracting a low-rank signal from noisy observations. It is known that when applying PCA to a rank-one signal corrupted by a dense, homogeneous noise, in the large matrix size limit, the BBP transition occurs, where the emergence of an outlying eigenvalue and the alignment of the corresponding eigenvector occur at the same critical signal strength. Here we study the case of sparse noise corruption. The noise matrix is modelled as the adjacency matrix of a weighted undirected graph with finite average connectivity. Using the replica method, we analytically compute the typical top eigenvalue, the top eigenvector component density, and the overlap with the signal, through recursive distributional equations solved by population dynamics. We identify two signal-strength transitions as functions of graph connectivity: $\theta_{\rm crit}$, marking signal recovery by the top eigenvector and generalising the BBP transition, and $\theta_{\rm b}$, where the signal-related eigenvalue detaches from the bulk. For noise with nonzero mean, these transitions need not coincide because of a structural sparse-graph outlier, leading to a discontinuous transition in the overlap with the top eigenvector. For a Random Regular degree distribution, we obtain exact closed-form expressions for both thresholds, the signal eigenvalue and the squared overlap, and show that the same formulas also predict the overlap of the signal with the second eigenvector in the intermediate regime $\theta_{\rm b}<\theta\leq \theta_{\rm crit}$. For a Poissonian degree distribution, an approximate closure of the recursions yields fast and accurate predictions in the recovery phase that agree with exact results from population dynamics. We also recover dense-noise results in the large-connectivity limit, and validate the theory by numerical diagonalisation of large matrices.
양자 어닐링은 계산적으로 어려운 최적화 문제를 다루기 위한 유망한 양자 알고리즘이다. 현재 이용 가능한 하드웨어는 상당한 부류의 해밀토니안 문제에 대해 이 알고리즘을 구현할 수 있다. 그러나 에너지 간극이 계의 크기에 따라 지수적으로 줄어드는 불연속 양자 상전이에서는 그 성능이 특히 제한된다. 본 논문에서는 양자 어닐링을 양자 신경망으로 확장한 방법을 제안하고, 여러 대표적인 최적화 문제에서 그 성능을 연구한다. 특히 폭 W = 2인 무작위 양자 어닐링 네트워크만으로도 양자 탐색 문제에서 어닐링 과정의 시간 발전 층 수, 즉 깊이를 지수적으로 줄일 수 있음을 관찰한다. 네트워크 매개변수를 조정하면 깊이 L = 1, 폭 W = 2인 양자 퍼셉트론으로 탐색 문제를 지수적으로 작은 오차로 해결할 수 있다. 이러한 결과는 양자 어닐링 네트워크의 폭이, 어닐링 과정에 더 크고 학습 가능한 시간 발전 공간을 제공함으로써 알고리즘의 성공 확률을 높이는 데 핵심적임을 보여준다.
AI 확산형 생성기가 좌절된 스핀 글라스를 표본추출할 때, 어떤 거시적 대안을 먼저, 그리고 언제 결정하는가? 본 연구는 점 소스에서 시작하는 경로적분 확산(Path Integral Diffusion, PID) 유형의 브리지 확산 모델에 대해 이를 연구한다. 모든 등방 PID가 시간 변환된 가우시안 확률적 국소화임을 보이고, 역으로 모든 신호 대 잡음비 스케줄이 PID 프로토콜로 실현됨을 보인다. 따라서 연속 시간 생성기가 무엇을 결정하는지는 프로토콜에 의존하지 않으며, 프로토콜은 결정이 언제 어떤 비용으로 이루어지는지만 정한다. 생성기의 상태는 부분적 확정, 즉 목표 분포가 정하는 중첩된 설정 클래스들에 각 순간 부여하는 확률로 기술한다. 부분적 확정은 클래스 대비를 따라서만 움직이는 마팅게일이다. 이들의 앙상블 평균은 제곱 자화 대비가 정하는 정확한 비율로 각 수준에 대한 정보를 제공한다. 균형 잡힌 사실상 이진 근사에서 분할은 \gamma=1.044/\lambda_P 근처에서 클래스 정보의 절반에 도달하며, 여기서 \lambda_P는 부모 공분산의 최대 고윳값이다. 이 이론은 최대 24개 스핀의 Bethe 격자 및 Sherrington--Kirkpatrick(SK) 글라스에 적용된다. 궤적이 먼저 영장(zero-field) 측도의 두 거울 반쪽 중 하나로 가중치를 옮긴 뒤 그 안의 글라스 클래스로 이동하는 현상이 일반적으로 관측된다. 이러한 클래스는 유리 전이 근처에서 나타나고 냉각 시 정체성을 유지하며, 같은 그래프 위의 강자성체에서는 나타나지 않는다. 희소(Bethe) 글라스와 밀집(SK) 글라스는 이러한 클래스가 얼마나 자주, 얼마나 강하게 존재하는지에서 다르며, 궤적이 그 클래스에 확정되는 방식에서는 다르지 않다. 유한한 횟수의 단계를 거치는 생성기의 경우, 프로토콜은 거시적 결정이 아니라 후반의 국소 단계를 통해 영향을 미친다. N=32,64에서의 표본추출 사후분포와 소규모로 학습한 잡음 제거기도 같은 순서를 보인다.
트랜스포머를 비롯한 현대의 분산 네트워크는 입력 통계에 맞춰 연산을 적응시키는 놀라운 능력('맥락 내 학습')을 획득하며, 그 결과 고정된 네트워크를 광범위한 시스템의 데이터에 적용할 수 있다. 본 논문에서는 이산 마르코프 연쇄의 유한 집합 $S$로 학습된 트랜스포머에서 이러한 행동에 대한 메커니즘적 특성화를 제시한다. 트랜스포머는 네트워크가 암기하는지 일반화하는지, 그리고 1점 통계를 사용하는지 2점 통계를 사용하는지에 따라 특징지어지는 네 가지 알고리즘적 국면을 보인다. 우리는 이 네 국면이 맥락 적응적 연산을 구현하는 질적으로 구별되는 두 가지 메커니즘을 예시하는 다층 서브회로로 구현됨을 보인다. 최소 모델은 두 모티프의 핵심 특징을 분리해 낸다. 암기 국면과 일반화 국면은 데이터 다양성 $K = |S|$에 의존하는 두 경계로 구분된다. 첫 번째 경계($K_1^\ast$)는 서브회로 간의 동역학적 경쟁으로 정해지고, 두 번째 경계($K_2^\ast$)는 표현 병목으로 정해진다. 트랜스포머 학습 동역학에 대한 대칭성 제약 이론은 1점 일반화에서 2점 일반화로의 급격한 전이를 설명하고, 네트워크가 일반화할 수 있게 하는 손실 지형의 핵심 특징을 규명한다. 종합하면, 트랜스포머가 맥락 내 학습을 구현하기 위해 서로 구별되는 서브회로를 발달시킴을 보이고, 특정 메커니즘이 다른 메커니즘보다 선호되는 조건을 규명한다.
언어를 연구하기 위한 합성 환경으로 계층형 모델이 제안됐지만, 실제 언어 말뭉치와 얼마나 관련이 있는지는 충분히 연구되지 않았다. 이 연구에서는 2차 및 3차 텐서를 계층적으로 합성해 조건부 확률 텐서 $p(x_n \mid x_{1:n-1})$를 구성하는 자기회귀 생성 $n$-그램 모델인 트리그램을 소개한다. $n$은 최대 문맥 윈도 크기를, 랭크 하이퍼파라미터 $d$는 모델 용량을 제어한다. 이를 통해 해석할 수 있고 규모를 체계적으로 늘릴 수 있는 언어 근사 모델 제품군을 얻는다. 트리그램은 기존 $n$-그램 기준선보다 우수하면서도 심층 트랜스포머 기반 언어 모델과 경쟁력 있는 성능을 보인다. 트리그램을 생성 모델로 사용해 이러한 제어 가능한 근사의 유용성을 입증한다. 특히 중간 수준의 $n$과 $d$를 가진 트리그램으로 생성한 더 단순한 데이터에서 폭이 좁은 모델을 조정하면 $\mu$P에서 하이퍼파라미터 전이의 강건성을 높일 수 있다. 또한 엔트로피와 상관관계의 유효 범위가 미세조정 이후의 성능 차이를 좌우함을 보인다. 이는 트리그램에서 문맥 범위와 모델 용량을 명시적으로 제어할 수 있기 때문이다. 여러 후보 토폴로지로 라우팅을 허용하자 트리그램에서 희소성이 나타났다. 라우팅이 일부 토폴로지에 집중되므로 성능을 크게 바꾸지 않고도 토폴로지를 최대 95%까지 가지치기할 수 있었다.
본 연구는 이징 모델의 근사 바닥 상태를 찾기 위한 그래프 신경망(GNN)의 활용을 연구한다. 많은 조합 최적화 문제가 결합 상수와 장을 적절히 선택하면 이징 모델로 정식화될 수 있으므로, 이러한 바닥 상태를 효율적으로 찾는 것은 폭넓은 중요성을 지닌다. 이러한 문제를 정확히 푸는 것은 어렵지만 좋은 휴리스틱 방법이 많이 존재한다. 이러한 휴리스틱의 한 계보는 평균장 근사에서 출발한다. 한 접근법은 적절히 정의된 행렬의 최대 고유벡터를 사용하고, 다른 하나는 에너지적 캐비티 방법으로도 알려진 min-sum 알고리즘이다. 수정하지 않은 GNN은 이 두 방법보다 성능이 나쁘다. 본 연구는 이러한 휴리스틱을 통합하도록 GNN에 작은 수정을 가하는 것을 고려하였고, 이것이 성능을 상당히 향상시킴을 확인하였다. 수정된 접근법은 다른 딥러닝 접근법보다 훨씬 강력하지만, 동일한 계산 비용에서는 시뮬레이티드 어닐링이 대체로 그만큼 우수함을 여전히 발견하였다.
본 연구는 더 작은 학생 모델로의 지식 전이라는 맥락에서, 잡음이 있는 질의로부터 계층적 특징을 갖는 단일 은닉층 교사 네트워크를 학습하는 것의 정보 이론적 한계를 연구한다. 교사 네트워크의 폭 $k$ 가 입력 차원 $d$ 에 선형적으로 비례하는 고차원 영역을 다루는데, 이는 크지만 유한한 폭의 네트워크를 포착하는 설정으로 최근에야 해석적으로 다룰 수 있게 되었다. 전반적으로 수치적으로 검증된 휴리스틱 leave-one-out 분리 논증을 이용하여, 닫힌 형태의 고정점 방정식 체계를 통해 베이즈 최적 일반화 오차와 개별 특징 중첩도를 점근적으로 정밀하게 특성화한다. 이 방정식들은 특징의 학습 가능성이 일련의 급격한 상전이에 의해 결정됨을 보여준다. 즉, 데이터가 늘어남에 따라 교사의 특징들이 순차적으로 복원 가능해지며, 각각은 중첩도의 불연속적 도약을 통해 이루어진다. 이러한 순차적 획득은 주어진 데이터 규모 $n$ 에서 학습 가능한 특징의 수인 \textit{유효 폭} $k_c$ 라는 정밀한 개념의 기반이 되며, 이는 두 가지 서로 다른 스케일링 영역을 통합한다. 하나는 베이즈 최적 일반화 오차 $\varepsilon^{\rm BO}$ 가 $ n^{1/(2\beta)-1}$ 로 스케일링되는 특징 학습 영역이고, 다른 하나는 $n^{-1}$ 로 스케일링되는 정련 영역이다. 여기서 $\beta>1/2$ 는 거듭제곱 법칙 특징 계층의 지수이다. 두 법칙은 하나의 관계식 $\varepsilon^{\rm BO}=\Theta(k_c d/n)$ 로 통합된다. 또한 유효 폭 $k_c$ 근처에서 \textsc{Adam} 으로 학습한 학생 모델이 (작은 알고리즘적 격차를 제외하고) 이러한 최적 스케일링 법칙을 달성함을 실험적으로 보이고, 모델 크기에 따른 관련 스케일링에 대한 정보 이론적 설명을 제시한다.
데이터로부터 이산적 대수 구조를 발견하는 것은 기계학습의 근본적인 과제이다. 본 논문은 연속적 학습 목적함수가 저랭크 표현이 아니라 공유된 대수적 합성을 통해 데이터를 표현하는 함수적 압축을 어떻게 선호하게 할 수 있는지를 묻는다. 군 연산에 대한 선호를 보인 바 있는, 대수적 완성(유한 이항 연산 복원)을 위한 표준적 분해 모형의 전역 최적해를 분석한다. 대수적 복잡도는 정확한 복원 조건 아래에서 파라미터 민감도의 하한(infimum)으로 측정한다. 보편적인 복잡도 하한선을 확립하며, 이를 달성하면 잠재 표현의 기하적 정렬과 유니터리성이 강제된다. 하한선에서는 입력 표현이 대응하는 출력 표현으로 합성되며, 연산표 전반에 걸친 이들의 재사용이 이러한 국소적 항등식을 전파하여 전역적으로 공유되는 대수 구조를 강제한다. 하한선이 달성되지 않으면 양의 간극이 이를 실현 가능한 하한과 분리한다. 소거 가능(cancellative) 연산의 경우 하한선 달성은 모델의 잠재 표현이 단사 준동형사상이 되도록 강제하며, 이는 목표가 군과 아이소토픽(isotopic)임과 동치이다. 이 경우 모든 전역 최소화기는 아이소토피와 유니터리 게이지를 제외하면 기저 군의 유니터리 좌정규 표현과 동치이며, 이로써 Huh(2025)의 핵심 추측을 해결한다. 소거 불가능 연산의 경우 하한선 달성은 정확한 구조적 중복(동일한 행 또는 열)을 강제하며, 직교정규 출력 행렬을 갖는 목표의 행·열 축약 표에 대한 유니터리 분해와 동치이고, 정확한 복원과 양립하는 가장 적은 수의 서로 다른 입력 행렬을 낳는다. 그 결과로 얻어지는 소거 가능 표는 군 아이소토프 표에 임베딩된다. 이 분석은 함수적 압축을 향한 구조적 편향을 드러내는데, 민감도 하한선에서는 잠재 표현의 대수적 합성이 목표 연산을 구현한다.
의사난수 생성기의 구조를 트랜스포머가 얼마나 깊이 학습할 수 있는지를 살펴본 이 연구는, 특히 퍼뮤티드 콩그루엔셜 제너레이터(PCG, Permuted Congruential Generator)처럼 내부 상태에 비트 단위 시프트, XOR(배타적 논리합), 회전, 절단(truncation)을 연속적으로 적용하는 복잡한 생성기를 대상으로 문맥 내 학습(in-context learning)의 가능성을 검증합니다. 선형 합동 생성기(LCG, Linear Congruential Generator)가 비교적 단순한 모듈러 산술 구조를 갖는 반면, PCG는 출력 단계에서 비선형 비트 연산을 섞어 관측된 수열과 내부 상태의 대응을 훨씬 더 어렵게 만들기 때문에, 모델이 단순한 패턴 암기를 넘어 생성 규칙 자체를 추론할 수 있는지 확인하기에 적절한 시험대가 됩니다. 저자들은 최대 모듈러스 \(2^{22}\), 최대 5천만 개의 파라미터, 최대 50억 토큰 규모로 실험을 확장하여, 트랜스포머가 보지 못한 PCG 수열에 대해서도 안정적으로 다음 값을 예측할 수 있음을 보였습니다. 더 주목할 점은 출력이 단일 비트로 축소된 극단적으로 정보가 제한된 조건에서도 예측이 가능했다는 사실로, 이는 모델이 표면적인 수치 분포보다 더 깊은 생성 규칙을 포착했음을 시사합니다. 또한 서로 다른 PRNG를 함께 제시한 경우에도 모델이 각 생성기의 퍼뮤테이션 구조를 동시에 학습하며 공통된 저수준 패턴을 분해해 활용할 수 있다는 점이 확인되었습니다.
이 연구의 핵심 방법론적 기여는 성능 자체뿐 아니라, 학습이 어떤 조건에서 성립하는지를 정량화했다는 데 있습니다. 저자들은 모듈러스 \(m\) 이 커질수록 near-perfect prediction에 필요한 문맥 길이가 대략 \(\sqrt{m}\) 에 비례해 증가한다는 스케일링 법칙을 제시했으며, 이는 상태 공간이 커질수록 예측에 필요한 관측량이 어떻게 늘어나는지를 보여주는 중요한 경험적 규칙입니다. 동시에 큰 모듈러스 구간에서는 최적화가 장기간 정체되는 현상이 나타났고, 특히 \(m \geq 2^{20}\) 에서는 작은 모듈러스에서 학습한 데이터를 먼저 포함하는 커리큘럼 학습이 사실상 필수적이라는 점이 드러났습니다. 다시 말해, 이 문제는 단순히 데이터와 모델을 더 크게 만드는 방식만으로 풀리지 않으며, 쉬운 구조에서 어려운 구조로 점진적으로 확장하는 학습 순서가 표현 형성에 직접적인 영향을 미칩니다. 이런 결과는 트랜스포머의 알고리즘적 일반화가 데이터 규모만으로 설명되지 않고, 최적화 경로와 학습 순서에 의해 강하게 좌우된다는 사실을 잘 보여줍니다.
해석 가능성 분석 역시 이 논문의 중요한 축을 이룹니다. 임베딩 레이어와 상위 주성분을 살펴본 결과, 정수 입력들이 비트 회전(bitwise rotation)에 대해 불변인 클러스터로 자연스럽게 묶이는 현상이 관찰되었으며, 이는 모델이 숫자를 단순한 크기 순서가 아니라 비트 구조와 대칭성의 관점에서 표현하고 있음을 의미합니다. 이러한 표현은 PCG가 사용하는 회전과 XOR 같은 연산과 구조적으로 잘 맞물리며, 작은 모듈러스에서 학습한 비트 패턴이 더 큰 모듈러 설정으로 이전되는 경로를 설명하는 단서가 됩니다. 결국 이 연구는 트랜스포머가 복잡한 의사난수 생성기에서도 숨은 규칙을 학습할 수 있음을 실증하는 동시에, 그 과정에서 나타나는 스케일링 법칙, 커리큘럼의 필요성, 그리고 비트 대칭성을 반영하는 내부 표현까지 함께 제시함으로써 알고리즘적 시퀀스 학습에 대한 이해를 한 단계 확장합니다.
언어 모델은 트랜스포머와 말뭉치가 함께 행동을 결정하는 복잡계다. 그러나 트랜스포머의 표현 기하가 언어 모델의 실제 행동과 어떤 관련이 있는지는 아직 밝혀지지 않았다. 본 연구는 실제 언어 모델의 순전파 과정에서 표현 기하가 어떻게 변하는지 분석한다. 주어진 층의 문서 표현 기하는 문서 구별도와 문서 차원이라는 두 집단 좌표로 나타낸다. 이 두 좌표로 구성한 상도에서 추론은 층의 깊이에 따른 흐름으로 표현된다. 학습하지 않은 모델에서는 초기화 규모에 따라 156개 추론 흐름의 대부분이 상도의 붕괴 영역과 잡음 영역을 향했다. 반면 다섯 아키텍처 계열에 속하는 학습된 모델 여덟 종의 추론 흐름은 모두 상도의 중앙 영역에 들어가 머물렀다. 흐름의 변화를 이산 랑주뱅 방정식으로 기술하자, 학습하지 않은 모델과 학습한 모델 사이의 차이는 이 영역에서 흐름에 작용하는 유효 힘이 안장점 유형인지 안정 결절점 유형인지로 설명할 수 있었다. Pythia-1.4B의 학습 과정은 상전이로 해석한다. 이 결과는 표현 기하와 언어 모델 행동의 관계를 통합적으로 이해할 방법을 제시한다.
우리는 비례 영역에서 랜덤 행렬 불일치(discrepancy)의 정보 이론적 측면과 알고리즘적 측면을 연구한다. 이 문제는 $\kappa=\min_{\x\in\mB^n}\|\sum_{i=1}^{n}\bar{A}_i\x_i\|_2$를 구하는 것에 해당하며, 여기서 $\bar{A}_i\in\mR^{d\times d}$는 n개의 독립동일분포 GOE 행렬의 모음이고, $\mB^n$은 $\mR^n$에서 단위 정육면체의 꼭짓점들이며, $\alpha=\lim_{n\rightarrow \infty}\frac{n}{d^2}$는 비례 상수이다. 여러 방향에서 상당한 진전을 이루었다. (i) 랜덤 쌍대성 이론(RDT) 프레임워크를 개발하고 그 lifted 변형을 활용하여 $\kappa$의 하한을 도출하였으며, 이는 [81]에서 1차 모멘트를 통해 얻은 하한과 정확히 일치한다. (ii) 분석상의 어려움을 해결하기 위해, 완전한 lifted RDT를 구현하기 위한 프록시로 음의 Hopfield 모델을 제안한다. 2차 lifting 수준에서 이 모델은 [81]의 정보 이론적 하한과 [38]의 알고리즘적 상한 사이에 매우 잘 들어맞는다. (iii) 3차 및 4차 lifting 수준에서, 매개변수적 RDT 개념은 프록시 모델에서 낮은 $\kappa$ 값에 대해 상당한 계산적 간극을 예측한다. 프록시의 정보 이론적 적합을 알고리즘적 적합으로 확장하면, [73]과 부합하게 낮은 $\kappa$ 영역의 행렬 불일치에도 유사한 계산적 간극이 있음을 시사한다. (iv) 행렬 불일치를 위한 Controlled Loosening Up(CLuP) 알고리즘을 설계한다. 이 알고리즘의 성능은 우리의 분석 결과와 강하게 일치한다. 낮은 $\alpha$ 범위에서는 정보 이론적 예측에 근접하고(계산적 간극이 작거나 존재하지 않음을 시사), 높은 $\alpha$ 범위에서는 프록시 모델의 알고리즘적 예측을 따른다(상당한 계산적 간극을 시사). 정보 이론적 예측과 알고리즘적 예측 모두 전체 $\alpha\in(0,\infty)$ 범위에서 벡터 유사체인 대칭 이진 퍼셉트론(SBP)의 해당 현상과 일치한다 [1,2,14,31,51,92,111].
사전학습된 트랜스포머 아키텍처는 추가 학습 없이도 놀라운 문맥 내 학습 능력을 보인다. 학습 과정이 네트워크를 이러한 흥미로운 능력으로 이끄는 방식은 아직 해결되지 않았다. 본 연구에서는 학습을 위해 경험적 위험 최소화가 정의된 단일 층 단일 헤드 선형 어텐션 모델에 초점을 맞춘다. 유한한 수의 학습 예제가 주어졌을 때, 학습 오차 및 일반화 오차와 연결되는 네트워크 파라미터 동역학의 정확한 해를 구하고, 이를 통해 학습으로부터 암기와 일반화가 어떻게 나타나는지, 그리고 이러한 전이가 경험적 위험 지형의 곡률과 어떻게 관련되는지 규명한다. 나아가 데이터 의존적 자유 에너지를 계산하며, 이로부터 학습 동역학의 장시간 극한에서의 학습 오차와 일반화 오차를 잘 예측할 수 있다. 본 연구는 특히 학습 동역학의 관점에서 문맥 내 학습의 메커니즘을 이해하는 데 통찰을 더한다.
본 연구는 부호 계열, 부호 크기, 물리적 오류율, 잡음 모델에 걸쳐 미세조정 없이 전이되는, 양자 저밀도 패리티 검사 부호를 위한 학습 기반 메시지 전달 디코더 GraphMP를 소개한다. 이 디코더의 국소 메시지 전달은 디코딩 그래프가 커져도 계산을 확장 가능하게 유지한다. 또한 GraphMP를 후보 오류 패턴을 점진적으로 개선하는 빔 탐색 알고리즘에 내장하여, 추가 디코딩 시간을 대가로 더 낮은 논리 오류율을 얻는다. 이러한 디코딩 노력을 지속적인 개선으로 전환하기 위해, 이전 모델이 디코딩 중 수집한 데이터로 후속 모델을 연속적으로 학습하는 패러다임인 디코더 모델 팩토리를 제안한다. 본 구현에서는 검증된 탐색 궤적이 후속 모델로 지식을 증류하기 위한 재사용 가능한 학습 데이터를 제공한다. 세대를 거치면서 모델 팩토리는 Relay-BP와 폭넓게 경쟁할 수 있는 탐색 강화 디코더를 만들어 낸다. $4612$개의 논리 큐비트를 인코딩하는 가장 큰 부호 블록에서, 표준 Relay-BP 기준선보다 더 낮은 논리 오류율과 약 $20$배의 디코딩 처리량을 달성한다. 이러한 결과는 두 개의 상호작용하는 주기를 가진 양자-고전 결합 아키텍처를 시사한다. 빠른 디코딩은 양자 정보를 보호하고, 느린 학습은 변화하는 잡음 조건에 모델을 적응시킨다. 장기적 비전은 진화하는 양자 하드웨어를 위해 고성능, 저지연 디코더를 지속적으로 생산하는 확장 가능한 디코더 모델 팩토리이다.
홉필드 모델은 통계물리학, 신경과학, 기계학습 커뮤니티에서 수십 년간 분석되어 온 신경망의 대표적인 모델이다. 기계학습의 다양체 가설에서 착안하여, 본 연구는 표준 설정을 일반화한 랜덤 특징 홉필드 모델(Random-Features Hopfield Model)을 제안하고 분석한다. 이 모델에서는 차원이 $D$인 잠재 공간에서 추출한 가우시안 벡터에 랜덤 사영과 비선형 함수를 차례로 적용하여 길이 $N$의 이진 패턴 $P$개를 생성한다. 통계물리학의 레플리카 방법을 사용하여, 비율 $\alpha=P/N$과 $\alpha_D=D/N$을 고정한 채 $P,N,D\to\infty$ 극한에서 모델의 상도(phase diagram)를 도출한다. 초기 손상으로부터 패턴을 동적으로 복원할 수 있는 통상적인 회상 상(retrieval phase) 외에도, 사영을 특징짓는 특징들을 대신 복원할 수 있는 새로운 상을 발견한다. 특징이 모델에 명시적으로 주어지지 않고 패턴으로부터 비지도 방식으로 추론되므로, 우리는 이 현상을 학습 상전이라 부른다.
우리는 결합된 다중 반사 모델과 2온도 모델로 학습한 다중 출력 순방향 신경망 대리 모델을 도입하여, 융합 실리카 위 결정질 실리콘 박막에 대한 이중 펄스 펨토초 레이저(1030 nm) 여기를 박막 두께(50-500 nm)와 펄스 간 지연(0-10ps)에 걸쳐 사상한다. 2000회의 물리 시뮬레이션에 대해 Levenberg-Marquardt 최적화로 학습한 이중 은닉층 네트워크([40,30] 뉴런)는 강하게 결합된 여섯 가지 광열 관측량, 즉 최대 전자 온도, 최대 격자 온도, 최대 캐리어 밀도, 최소 및 최대 흡수율, 최소 굴절률을 동시에 예측하며, 모든 목표값에서 결정계수 R2가 0.9998보다 크다. 조밀한 200×200 설계 격자를 밀리초 단위로 평가하면 뚜렷한 박막 간섭 무늬와 캐리어에 의한 굴절률 변조가 분해되며, d=156 nm, Dt=4.572 ps에서 최적의 광열 결합 영역이 확인된다. 이 통합 기계학습 워크플로는 계산 비용이 큰 다중 물리 실행 병목을 제거하여 실시간 레이저 가공 제어와 역방향 광자 박막 설계를 가능하게 한다.
대규모 언어 모델(LLM)은 텍스트를 한 번에 하나의 토큰씩 생성하지만, 특정 생성이 사전학습에서 학습된 기하 구조와 어떤 관계를 갖는지는 여전히 불분명하다. LLM의 근본적인 설명 가능성은 파악하기 어렵다. 본 연구에서는 여섯 개의 오픈 LLM의 입력 임베딩으로 유사도 네트워크를 구축하고 그 위에 생성 과정을 대응시킨다. 토큰 임베딩 네트워크는 공분산이 일치하는 무작위 임베딩과 마찬가지로 척도 없는(scale-free) 특성과 두꺼운 꼬리를 보이지만, 훨씬 더 단편화되어 있다. 입력 임베딩이 대부분 계승되기 때문에 증류는 이 위상을 거의 바꾸지 않는다. 따라서 지식 공간은 사전학습으로부터 결정론적으로 정해진다. 연속하여 생성된 토큰은 그래프상 이웃인 경우가 드물며, 대부분의 모델에서 순서를 섞은 경우보다 더 자주 이웃이지도 않으므로, 생성은 사전에 정의된 네트워크 위의 보행(walk)이 아니지만 방문하는 토큰은 그 안에 집중되어 있다. 로짓 렌즈를 층별로 적용하면 대부분의 모델에서 토큰은 깊은 층에서 늦게 확정되며, 반복적인 모델은 작은 도메인 특화 부분 그래프에 갇혀 있다. 이러한 관측량은 퇴화를 감시하는 추론 시점 모니터로 활용될 수 있다. 이로써 그래프 학습의 노드 또는 링크 예측이라는 미시적 방식으로 LLM 생성을 이해하는 새로운 관점을 제시한다.
원자 무질서는 재료 물성을 조정할 수 있는 강력한 자유도를 제공하지만, 그로 인해 생기는 방대한 배치 공간은 구조-물성 관계를 가리고 합리적인 역설계를 어렵게 한다. 본 연구에서는 동적 주기 그래프, 마스크 조건화, 구간 가중 학습 노이즈 분포를 결합한 생성 모델인 Graph Amorphous Diffusion Transformer(GaDiT)를 제안한다. GaDiT는 고품질의 무질서 구조를 생성하면서도 기존의 보정기(corrector) 기반 접근법에 비해 샘플링 속도를 두 자릿수 배 향상시키며, 이는 2차원 비정질 탄소와 3차원 비정질 실리콘 및 실리카에서 입증되었다. 또한 GaDiT는 단일 모델 안에서 단일 또는 복합 구조 특징, 물리적 성질, 제조 조건에 따른 조건부 생성을 지원하며, 학습 분포를 넘어서 접근 가능한 구조-물성 범위를 확장하는 역설계를 가능하게 한다. 이러한 구조와 학습된 신경망을 해석하기 위해, 목표 물성을 좌우하는 전역 구조 기술자와 국소 원자 환경을 모두 드러내는 조건화 원자 응답 매핑 분석을 제안한다. 종합하면 GaDiT는 무질서 원자 구조의 해석 가능한 생성, 역설계, 구조-물성 발견을 위한 일반적인 프레임워크를 확립한다.