본 논문에서는 $N$개의 정규화된 토큰, $Q=K=I$, 그리고 음의 값 맵 $V=-I$를 갖는 최소 순환 트랜스포머(recurrent transformer)의 비평형 동역학을 연구합니다. 유사도 기반 어텐션은 인접한 표현을 선택하는 반면, 음의 값 맵은 선택된 장(field)으로부터 토큰을 밀어냅니다. 이러한 피드백은 표현 기하학과 어텐션 네트워크 모두를 지속적으로 재구성할 수 있습니다. $d=2$일 때 토큰들은 원 위에 놓이며, 정다각형은 정확한 고정점이 됩니다. 어텐션 피드백 강도 $\gamma$가 증가함에 따라 정다각형은 플립 분기(flip bifurcation)를 통해 안정성을 잃고, 주기 2(period-two) 운동, 혼돈(chaos), 그리고 클러스터 교환 또는 클러스터 플립 상태를 발생시킵니다. 이러한 시간적 복잡성에도 불구하고, 유한하고 고정된 소프트맥스 첨예도 $\beta$에서 $N\to\infty$일 때 어텐션은 확산된(diffuse) 상태를 유지합니다. 대신 어텐션 응축은 $\beta\sim N^2$ 스케일링 체제에서 창발합니다. 하드 라우팅 극한에서는 척력적 업데이트가 국소 섭동을 증폭하고 라우팅 파트너 전환이 이를 탄도학적으로 전달하여, 표현 공간에서 창발적인 버터플라이 콘(butterfly cone)을 형성합니다. 고차원 기하학은 국소화로 향하는 별도의 경로를 제공합니다. $d=N\to\infty$의 경우, 가우시안 초기 조건에서의 시뮬레이션은 동적으로 생성된 유한한 중첩 간극에 의해 유도되는 $\beta=O(1)$에서의 응축 전이(condensation transition)에 대한 증거를 제시합니다. $\gamma$에 따라 나타나는 상에는 확산된 단체형(simplex-like) 상태, 합의 플립(consensus flips), 혼돈의 징후를 보이는 응축된 활성 라우팅, 파편화된 클러스터 플립이 포함됩니다. 이러한 결과는 시간적 활성, 어텐션 응축, 기하학적 클러스터링이 서로 구별되는 집합적 현상임을 규명하며, 희소 어텐션(sparse attention)이 동역학을 동결시키기보다는 지속적인 동역학을 유지할 수 있음을 보여줍니다.
Newton-Schulz(NS) 반복은 최근 대규모 언어 모델 학습 중 업데이트 행렬을 변환하기 위해 Muon 옵티마이저에서 사용되었다. 이러한 스펙트럼 효과에 착안하여, 본 연구에서는 NS를 트랜스포머 어텐션 표현에 직접 적용하는 방법을 탐구한다. 우리는 각 어텐션 헤드의 출력에 적용되는 매개변수가 없는(parameter-free) 변환인 Newton-Schulz Attention(NS-Attn.)을 제안한다. 각 헤드 출력은 특징×토큰(feature-by-token) 행렬로 배열되어 Frobenius 노름으로 정규화된다. 이후 유한 횟수의 NS 다항식 단계를 적용한 뒤 원래의 노름을 복원한다. 이는 표준적인 헤드 병합 및 출력 투영 이전에 스펙트럼 집중을 줄이고 유효 랭크(effective rank)를 높이는 것을 목표로 한다. CIFAR-10과 CIFAR-100에서 ViT와 Swin을 대상으로 한 실험에서, NS-Attn.은 시드를 맞춘 12개의 비교 모두에서 최종 에포크 정확도를 향상시켰으며, 평균 향상 폭은 0.25~0.83 퍼센트 포인트이다. ViT 어블레이션에서는 반복 횟수가 한 번일 때가 두 번일 때보다 평균 정확도가 더 높았다. 스펙트럼 분석 결과 또한 최대 고유값 집중이 감소하고 유효 랭크가 증가함을 보여준다. 이러한 성능 향상에는 추가적인 추론 지연 시간이 수반된다.
불편 확률적 그래디언트(unbiased stochastic gradient)는 기댓값상 전체 그래디언트와 일치할 수 있지만 유한 스텝 안정성을 변화시킵니다. 본 논문에서는 문맥 내 선형 회귀(in-context linear regression)를 위한 단일 층 선형 셀프 어텐션에서 이러한 효과를 연구하며, 여기서 공유 모드 미니배치 학습은 무작위 2-인자 사상(random two-factor map)으로 정확히 축소됩니다. 풀배치 사상은 타원형 영역을 보존하는 반면, 표본 추출된 곡률과 타깃 상관관계는 배치에 의존적인 안정성 경계를 형성합니다. 이들의 결합된 변동은 매개변수 업데이트 수준에서는 중심화되어 있지만 풀배치 경계 좌표의 엄격한 외향 표류(strictly outward drift)를 유도합니다. 저자들은 정확한 단일 스텝 교차 기준, 적응형 집중 한계, 조건부 표류 항등식을 도출하고, 균형 전환 모델에서 거의 확실한 이탈을 증명합니다. 독립적인 긴 프롬프트의 경우, 모드 누출은 프롬프트 길이의 제곱근 역수로 감쇠합니다. 유한 토큰 소프트맥스 어텐션의 경우, 어텐션 점수가 집중됨에 따라 줄어드는 유효 컨텍스트 길이에 의해 지배되는 명시적 경계 교차 법칙을 도출합니다. 주변 어텐션 목적 함수에 대한 실험을 통해 축소된 예측을 검증하였으며, 학습된 네 개의 인과적 소프트맥스 트랜스포머는 더 작은 첫 스텝 배치에 대해 더 큰 평균 곡률 이동을 보여 예측된 비선형 외향 바이어스와 일치함을 확인했습니다.
체스는 결정론적 환경에서 복잡한 추론을 수반하므로, 트랜스포머 내부 연산 메커니즘을 연구하기에 유용한 설정이다. Maia-3 체스 트랜스포머는 경쟁 체스 실력의 척도인 Elo를 사전학습된 네트워크의 입력으로 받으며, 따라서 가중치를 바꾸지 않고도 네트워크가 조건화되는 실력을 변화시킬 수 있다. 여기서는 이 실력 다이얼을 돌리는 것이 self-attention에 어떤 영향을 미치는지 조사한다. Elo 700부터 2500까지 각 Elo에서 모든 어텐션 헤드를 어블레이션한 결과, 1) 실력이 높아질수록 측정한 모든 체스 기물과 수 유형에 대해 연산의 인과적 질량 중심이 단조적으로 더 깊은 층으로 밀려난다; 2) 깊이 이동은 다른 수 유형보다 특정 전술, 특히 나이트 포크(knight fork)에서 훨씬 크다; 3) 이동은 더 깊은 헤드가 더 전문화된 연산에 기용되는 동시에 하나의 공유된 얕은 헤드가 대략 일정한 기여를 유지하는 것으로 구성된다. 이 결과는 더 큰 트랜스포머에서 조건화 입력이 연산을 어떻게 재배치하는지에 대한 통찰을 제공할 수 있다.
DoLa와 같은 대조 디코딩(contrastive decoding) 방법은 성숙한 층과 미성숙한 층의 출력 분포를 대조하여 대규모 언어 모델(LLM)의 사실성(factuality)을 향상시킨다. 그러나 DoLa의 동적 층 선택은 출력 어휘 분포의 발산(divergence)에만 의존한다. 본 연구에서는 내부 셀프 어텐션(self-attention) 메커니즘이 담고 있는 구조적 정보를 층 선택 신호로 활용하는 세 가지 어텐션 기반 전략인 Attention-JSD, Attention-Entropy-Max, Attention-Entropy-Min을 제안한다. TruthfulQA에 대한 실험 결과, 특히 Attention-JSD와 Attention-Entropy-Min을 포함한 제안 전략들이 원래 DoLa를 일관되게 능가함을 보여준다. 다중 답변 지표(MC2 및 MC3)에서 유의미한 향상을 관찰하였으며, 이는 어텐션 분포가 출력 어휘 분포보다 사실적 지식 해결에 더 민감한 신호를 제공할 수 있음을 시사한다.
비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.
트랜스포머는 실제 학습 과정에서 2단계 학습 다이나믹스를 나타낼 수 있다. 예를 들어, GPT-2를 Counterfact 데이터셋으로 학습할 때, 정답은 구문적으로 잘못된 상태에서 구문적으로 올바른 상태로, 이후 의미적으로 올바른 상태로 진행된다. 그러나 기존의 이론적 분석들은 구문과 의미론 같은 분리된 두 유형의 특징에 개념적으로 귀속될 수 있는 이 특징 수준의 2단계 현상을 거의 설명하지 못한다. 본 논문에서는 2단계 학습 다이나믹스가 트랜스포머에서 어떻게 발생할 수 있는지를 이론적으로 증명한다. 구체적으로, 정규화된 렐루(ReLU) 셀프 어텐션과 구조화된 데이터로 구성된 단순화되었지만 예시적인 설정을 기반으로, 앞서 언급한 분리된 두 유형의 특징 구조에 의해 유도되는 특징 학습 다이나믹스를 분석한다. 이러한 특징 구조의 분리는 실제로 일반적으로 나타나는 현상으로, 예를 들어 자연어는 구문과 의미를 포함하며 단백질은 1차 구조와 2차 구조를 포함한다. 우리가 아는 한, 이는 해당 이론적 프레임워크 내에서 트랜스포머의 특징 수준 2단계 최적화 과정에 관한 첫 번째 엄밀한 결과이다. 또한 따름정리는 이러한 2단계 과정이 어텐션(attention) 가중치의 스펙트럼 특성과 밀접하게 관련되어 있음을 추가로 보여준다.
셀프 어텐션(self-attention)은 현대 시퀀스 모델에서 널리 쓰이는 기본 연산이지만, 연산자 수준의 기하학적 특성은 아직 부분적으로만 이해되고 있다. 본 연구에서는 토큰 시퀀스를 토큰-위치 그래프 위의 벡터 필드로 보고, 어텐션을 연결 워크(connection walk)로 해석한다. 즉, 메시지는 비음수 워크 행렬에 의해 집계되는 동시에 각 에지를 따라 학습된 선형 맵으로 전달된다. 이 프레임워크 내에서, 단일 헤드 어텐션(SHA)이 정확히 일정한 전달(transport)을 가진 연결 전파(connection propagation) 단계임을, 그리고 다중 헤드 어텐션(MHA)이 정확히 단일 에지 의존적 연결 워크이며 그 유효 전달이 헤드별 전달의 어텐션 가중 혼합임을 증명한다. 또한 대응하는 생성자(generator)가 랜덤 워크 연결 라플라시안(random-walk connection Laplacian)으로 축소되는 조건을 명확히 하고, 확률성, 가역성, 계량 호환 전달의 역할을 강조한다. 실험적으로, 다양한 규모(124M에서 8B까지) 및 구조(인코더/디코더)에 걸쳐 학습된 트랜스포머들이 우리 이론과 일관된 기하학적 구조를 보임을 확인한다. 구체적으로, 유효 어텐션 그래프는 더 깊은 층에서 안정적인 기하학적 연산자로 수렴하고, 학습된 전달은 근사 스케일된 등거리 변환(scaled isometry)으로 자기 조직화되며, 두 현상 모두 규모가 커질수록 일관되게 강화된다. 전반적으로, 본 논문은 셀프 어텐션을 고전적 기하학적 연산자와 연결하는 정밀한 연결 워크 형식화를 제공하고, 기하학적 관점에서 트랜스포머 모델을 분석하기 위한 연산자 수준 도구들을 제시한다.
시계열 예측에서 표준 셀프-어텐션의 이차 복잡도 문제를 해결하기 위해, 어텐션 맵에 나타나는 타임스탬프 간 중복 패턴에 착안하여 공유 학습 행렬과 입력 의존적 잔차 행렬로 어텐션 점수를 표현하는 Self-Gating Attention(SGA)을 제안한다. SGA는 쿼리·키 프로젝션을 제거해 룩백 길이에 대한 선형 시간·메모리 복잡도를 달성하며, 전기·금융·기후 등 9개 실세계 데이터셋 벤치마크에서 최신 어텐션 메커니즘 대비 경쟁력 있는 예측 성능을 유지하면서 추론 효율성을 개선했다.
합성곱(convolution)과 셀프 어텐션(self-attention)이 각각 공간적 근접성과 특징 유사도 기반의 이웃 선택 전략으로 구분되는 $k$-최근접 이웃($k$-NN) 집계 프레임워크의 특수 사례임을 수학적으로 증명하고, 이를 기반으로 ConvNN이라는 통합 프레임워크를 제안한다. ImageNet-1K 분류에서 ConvNN을 적용한 ResNet-50은 기존 대비 top-1 정확도 3.0% 향상을, ConvNN 어텐션을 탑재한 ViT-Base는 표준 멀티헤드 셀프 어텐션 대비 0.7% 향상된 81.64%를 달성했다.
트랜스포머 모델은 인지와 신경 표현의 계산 모델로 점점 더 많이 사용되므로, 셀프 어텐션이 구현하는 메커니즘은 엔지니어링 성능을 넘어 관심 대상이다. 인지과학의 보완적 전통은 진동자 동기화와 같은 역학적 상호작용을 통해 조율, 결합(binding), 기억을 모델링한다; 우리는 값 업데이트가 동기화 단계인 Kuramoto Attention 층을 도입하여 이 메커니즘을 셀프 어텐션에 가져온다. 각 토큰은 위상 진동자 뱅크를 carry하므로, 그 은닉 상태는 고차원 토러스 위에 존재한다. 어텐션 가중치는 적응적 결합 그래프를 형성하며, raw phase state를 값으로 사용하면 값 업데이트가 고정된 어텐션 가중치에 대해 정확히 Kuramoto 결합 방향이 된다. 소프트맥스는 어떤 진동자가 결합할지 선택하고, 값 경로는 각 토큰을 그 토큰이 선택한 토큰들의 어텐션 가중 순환 평균(attention-weighted circular mean) 쪽으로 이동시킨다. 우리는 매개변수가 맞춰진 RoPE 및 SwiGLU 트랜스포머와 비교하여 enwiki8과 CodeParrot에서 Kuramoto Attention을 학습시킨다. CodeParrot에서 5M 매개변수일 때, 중앙값과 평균 모두에서 트랜스포머보다 향상되며, 평균 격차는 검증 0.012, 테스트 bits per byte 0.010이다. enwiki8에서 5M일 때, 6회 실행 모두 검증/테스트 중앙값이 트랜스포머보다 낮고 모든 시드 평균이 0.01 BPC 이내이다; 6회 중 5회는 또한 촘촘한 낮은-평균 클러스터를 형성한다. 1M에서는 enwiki8에서 약 0.02 BPC만큼, CodeParrot에서는 0.013–0.015 bits per byte만큼 뒤처진다. Ablation과 위상 진단은 해당 층의 동기화 및 기하학적 동기 컴포넌트가 모델 성능을 어떻게 형성하는지 보여준다. 그 결과는 학습된 계산이 위상 상태에서의 적응적 동기화로 직접 해석될 수 있는 셀프 어텐션 메커니즘이다.
기존 SPD 기반 EEG 디코딩은 단순 아키텍처와 Affine-Invariant Metric(AIM)의 조건 불량 SPD 행렬 처리 한계로 저 SNR 환경에서 채널 간 로컬 관계를 충분히 포착하지 못한다. Bures-Wasserstein metric(BWM) 기반 리만 self-attention 네트워크를 학습 가능한 GBWAtt로 확장했으며, 세 EEG 벤치마크 데이터셋에서 강건성과 효과를 확인했다.
다중 모드 광섬유의 동적·비선형 전송 행렬(TM)은 CNN의 지역 상관 가정으로는 모델링하기 어렵기 때문에, 셀프 어텐션(self-attention)으로 임의 좌표 기저의 장거리 상관을 학습해 저차원 잠재공간으로 압축하는 비선형 기저 변환을 제안한다. 다양한 시뮬레이션·실측 TM 데이터에서 참여 비율(participation ratio) 0.01~0.11 수준의 희소 표현을 얻고 10% 미만 오차로 원 행렬을 복원함으로써 가역성과 기저·동적 교란에 대한 호환성을 확인했다.
정규화가 없는 셀프 어텐션 네트워크의 함수 공간 기하학을 대수 기하학적 도구를 통해 분석하여, 임의의 계층에 대한 식별 가능성과 함수 공간의 차원을 계산한다. 또한 단일 계층 모델에 대한 특이점 및 경계점을 특성화하고 정규화된 셀프 어텐션 네트워크로의 확장을 수치적으로 검증한다.
표준 점곱 셀프 어텐션(dot-product self-attention)은 단일 층에서 토큰 간의 쌍별(order-2) 상호작용만 계산합니다. 일반적인 $k$차 상호작용을 표현하는 것은 단일 층에서 초차원(super-quadratic) 자원이 필요하거나 깊이에 걸친 합성이 필요한 것으로 알려져 있습니다. 우리는 데이터 재업로딩(data re-uploading)과 전체 대 전체(all-to-all) 비클리포드 얽힘 장치(entangler)를 통해 회로 내부에서 $k$차 토큰 상호작용을 합성하고 이를 국소 단일 큐비트 리드아웃(read-out)을 통해 노출하는, 얕고 하드웨어 구현이 가능한 양자 어텐션 헤드인 **양자 고차 어텐션(QHA)**를 소개합니다. 우리는 (i) 표현력 분리를 증명합니다: 임베딩 차원 $m$, $H$개의 헤드, $p$-비트 정밀도를 가지며 $mHp=o(N/\log\log N)$을 만족하는 단일 표준 셀프 어텐션 층은 회로 깊이 $O(\log k)$ ($O(k)$ 개의 2-큐비트 게이트)를 가진 하나의 QHA 헤드가 표현하는 $k$차 상관관계 패밀리를 표현할 수 없습니다. 그리고 (ii) 국소 설계(local-design) 구현에 대한 학습 가능성 보장을 증명합니다: 국소 리드아웃과 $O(\log n)$ 깊이에서 그래디언트 분산은 $Ω(1/\mathrm{poly}(n))$입니다 (바렌 고원 없음). 이를 경험적으로 확인했습니다. 동시에 우리가 벤치마킹한 더 표현력이 뛰어난 전체 대 전체(all-to-all) 구현은 경험적으로 학습되었으며 지수적으로 감소하는 그래디언트를 보임을 명시합니다. 경험적으로, $6.5\times$ 더 작은 매개변수 예산에서 QHA는 분리된 입력으로부터 모든 차수 $k\le6$에 대한 히든 서브셋 패리티(hidden-subset parity)를 일반화하는 반면, 더 큰 고전적 어텐션 헤드는 2차 이상에서 붕괴합니다. 이론과 일치하게, 이점의 크기는 목표의 푸리에 차수를 따르는데, 패리티에서 가장 크고 저차 구조가 존재할 때 줄어듭니다. 응용 프로그램으로서, QHA는 유전적 상피성(genetic epistasis), 노이즈가 있는 패리티 학습(learning-parity-with-noise), 그래프 삼각형 탐지라는 세 가지 도메인에 걸쳐 컴팩트한 고차 상호작용 감지기 역할을 하며, 분야 표준 선형 방법이 실패하는 가장 작은 매개변수 예산에서 노이즈 천장에 도달합니다.