PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13518v1math.DS

트랜스포머 내 이산 시간 셀프 어텐션 역학의 점근적 분석

Asymptotic Analysis of Discrete-Time Self-Attention Dynamics in Transformers

머신러닝에서 셀프 어텐션 역학은 트랜스포머의 어텐션(attention) 메커니즘을 설명하며, 트랜스포머의 층(layer) 인덱스를 시간 인덱스로 취급하여 도출됩니다. 본질적으로 이산 시간(discrete-time) 시스템임에도 불구하고, 이러한 동적 시스템은 대부분 연속 시간으로 연구되어 왔습니다. 본 논문의 목적은 이산 시간 버전의 셀프 어텐션 역학을 철저하게 조사하는 것입니다. 단일 헤드 및 멀티헤드 사례 모두에서 평형점(equilibria)에 대한 완전한 분류(classification)를 제시하고 그 안정성 특성을 연구합니다. 두 경우 모두 역학의 주요 어트랙터(attractor)가 값(value) 행렬의 주 고유벡터(멀티헤드 사례의 경우 상응하는 가중치(weight) 행렬)와 정렬된 합의 평형점(consensus equilibrium)임을 보입니다. 다만, 단일 헤드 상황에서는 국소적으로 점근적 안정한 다른 이분 평형점(bipartite equilibria)도 존재함을 보일 수 있습니다. 이러한 동작은 실제 트랜스포머의 학습된 가중치 행렬을 살펴봄으로써 검증됩니다.

arXiv:2607.10923v1cs.LG

Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

Large language models exhibit remarkable emergent behaviors, yet the physical mechanism governing their collective dynamics remains poorly understood. Cognitive Field Theory predicts that learning reorganizes the time-scale density of states (TDOS) through the infrared accumulation of slow relaxation modes, thereby enhancing the memory self-energy, reducing the cognitive forgetting gap, and strengthening the collective susceptibility. Using publicly available Pythia language models, we extract relaxation spectra directly from Transformer layer Jacobians throughout training, network depth, and model scale, allowing the TDOS, memory self-energy, forgetting gap, memory kernel, and infrared critical exponent to be measured quantitatively. The measurements reveal progressive infrared accumulation of slow relaxation modes, producing an approximately flat infrared TDOS with \( ρ(λ)\simλ^{-0.1} \) and scale-free memory kernels \( K(t)\sim t^{-1}. \) The memory self-energy exhibits a pronounced transient maximum during early optimization before relaxing toward a metastable near-critical regime, corresponding to the smallest cognitive forgetting gap and the largest collective susceptibility predicted by Cognitive Field Theory. These observations provide quantitative experimental evidence that Transformer dynamics are governed by infrared collective organization. The reproducibility of the same dynamical behavior across training, network depth, and model scales suggests that infrared slow-mode organization represents a universal collective principle of Transformer dynamics.