arXiv:2609.19363v3 cs.LG

드리프트하지 않는 방향: 트랜스포머 어텐션을 위한 슈티펠 다양체 라우팅

Directions That Don't Drift: Stiefel Manifold Routing for Transformer Attention

Rubén Darío Guerrero

제출 2026-09-16

저자 비고

arXiv Comments

26 pages, 2 figures

한국어 초록

어텐션(attention)의 쿼리 및 키 프로젝션 $\WQ, \WK$는 거의 항상 기하학적 제약 조건 없이 유클리드 최적화 도구로 학습됩니다. 본 연구에서는 이를 슈티펠 다양체(Stiefel manifold)로 제약하고, 프레임당 하나의 스칼라 2차 모멘트를 갖는 리만 아담(Riemannian Adam)—접공간 프로젝터(tangent projector), 스텝 놈 상한(step-norm cap), 극 분해 리트랙션(polar retraction)을 통해 콤팩트 비-아다마르 $\St(d,r)$로 확장된 \citet{becigneul2019}의 형태—을 사용하여 최적화합니다. 네 가지 명제를 통해 임베딩된 메트릭에서의 최급 강하(steepest descent), 그래디언트(gradient) 스케일 독립성, 양호한 조건수(well-conditioning), 그리고 엄밀한 $\mathrm{O}(d)$-동변성(equivariance)을 증명합니다. 다섯 번째 명제에서는 가중치(weight) 감쇠가 $\St(d,r)$ 상에서 리만 그래디언트가 항등적으로 0임을 기록하여($W{=}WI_r$이 법공간에 놓임), 가중치 감쇠가 제약된 프레임에 작용할 수 없음을 보입니다. $n{=}10\mathrm{k}$인 CIFAR-10 패치 벤치마크에서 이 규칙은 12개의 쌍체 시작점 전반에 걸쳐 AdamW 대비 $\mathbf{+6.79}$\,pp 향상($t{=}38.33$, $12/12$)을 달성합니다. 기존 고정 스텝 리만 SGD는 $+1.97$\,pp를 얻었으며, 이 중 $+1.69$\,pp는 동결된 정규직교 초기화(initialization)만으로 발생합니다. 수정된 Adam의 우위는 데이터가 증가함에 따라 커집니다($n{=}1\mathrm{k}$에서 $+1.9$\,pp, $n{=}50\mathrm{k}$에서 $+6.7$\,pp). 12개 시드 절제 연구에 따르면 모든 이득은 스케일 무관(scale-free) 스텝에 기인하며($+4.63$\,pp, $12/12$), 프로젝터나 동변성으로 인한 이득은 없습니다. 표적 $\varepsilon$-스윕을 통해 이 메커니즘을 인과적으로 확인했습니다($\varepsilon{=}0.1$에서 $-2.6$\,pp, $p{<}0.001$). 5개 시드를 사용한 두 번의 그로킹(grokking) 연구에서는 제약 조건이 적용된 모델이 기준선(baseline)보다 그로킹 성능이 더 우수하지 않음을 확인했습니다($p{=}0.019$, A2 승리). 즉, 가중치 감쇠 면제가 그로킹에 미치는 영향은 없습니다. 이러한 국소화를 활용한 단일 시드 파일럿 연구는 슬링샷(slingshot) 조건에서 최초로 안정적인 그로킹을 달성했습니다. 즉, 슈티펠 제약 조건과 표적 회로 정규화(regularization)를 결합함으로써 모든 붕괴 과정에서 비제약 절제 모델보다 라우팅 프레임 등거리(isometry) 오차를 $10^6$배 낮게 유지합니다.

원문 초록

The query and key projections $\WQ,\WK$ in attention are almost always trained by Euclidean optimizers with no geometric constraint. We constrain them to the Stiefel manifold and optimize with a Riemannian Adam carrying one scalar second moment per frame---the form of \citet{becigneul2019}, here extended to the compact, non-Hadamard $\St(d,r)$ with a tangent projector, step-norm cap, and polar retraction. Four propositions prove steepest descent in the embedded metric, gradient-scale independence, well-conditioning, and exact $\mathrm{O}(d)$-equivariance. A fifth records that weight decay has \emph{identically zero} Riemannian gradient on $\St(d,r)$ ($W{=}WI_r$ lies in the normal space), so decay cannot act on the constrained frames. On a CIFAR-10 patch benchmark at $n{=}10\mathrm{k}$ this rule gains $\mathbf{+6.79}$\,pp over AdamW across 12 paired starts ($t{=}38.33$, $12/12$); earlier fixed-step Riemannian SGD gains $+1.97$\,pp, of which $+1.69$\,pp comes from frozen orthonormal initialization alone. The corrected Adam's lead grows with data: $+1.9$\,pp at $n{=}1\mathrm{k}$ to $+6.7$\,pp at $n{=}50\mathrm{k}$. A 12-seed ablation credits all gain to the scale-free step ($+4.63$\,pp, $12/12$), nothing to the projector or equivariance; a targeted $\varepsilon$-sweep causally confirms the mechanism ($-2.6$\,pp at $\varepsilon{=}0.1$, $p{<}0.001$). Two five-seed grokking studies confirm the constrained arm does not grok better than the baseline ($p{=}0.019$, A2 wins): the weight-decay exemption has no grokking consequence. A single-seed pilot exploiting this localization achieves the first stable grokking under slingshot conditions---Stiefel + targeted circuit regularization keeps routing-frame isometry error $10^6\times$ lower than the unconstrained ablation through every collapse.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.19363v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00403v2cs.LG공통 태그 Stochastic Optimization, grokking

논리와 기억 사이의 충돌: 옵티마이저 의존적 규칙 습득을 위한 학습 조건

The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition

옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.

arXiv:2607.20512v1cs.LG공통 태그 Stochastic Optimization, grokking

Muon의 그로킹에서 핵심 요인

The Active Ingredient in Muon's Grokking

Muon 옵티마이저는 모듈러 산술에서 AdamW보다 더 빠르게 그로킹 임계값에 도달한다. 선행 연구는 이를 "스펙트럴 노름 제약과 직교화된 모멘텀"에 기인한다고 설명하지만, 어떤 메커니즘이 중요한지는 분리하지 않았다. Muon의 거동을 더 잘 이해하기 위해, 우리는 다중 시드 및 다중 학습률 스윕을 수행하여 그 효과를 분해하고 스트레스 테스트한다. 첫째, 어블레이션(ablation) 결과 속도 향상은 직교화(Newton-Schulz 반복)에서 비롯됨을 보여준다: 직교화만 수행하는 설정은 전체 Muon과 일치하는 반면, 스펙트럴만 적용하는 설정은 AdamW보다 빠르지 않으며 불안정하고, 이 결론은 학습률 전반에 걸쳐 성립한다. 둘째, 기계론적 분석은 직교화 옵티마이저가 대략 3배 낮은 스펙트럴 노름에서 일반화에 도달하며, 임베딩이 실제로 얼마나 이동하는지를 통제할 때 임베딩을 덜 교란하는 것이 아니라 더 낮은 노름의 해로 수렴함을 밝힌다. 셋째, Newton-Schulz 반복 횟수를 5회에서 1회로 줄이면 임계값 도달이 빨라지지만 그로킹된 해가 취약해지고 일시적 붕괴에 취약해지며, 그 취약성은 학습률이 커질수록 증가한다; 단일 반복은 작은 학습률에서만 빠르고 안정적이며, 표준 5회 반복이 학습률에 강건한 선택이다. 우리는 또한 스펙트럴 스케일링을 제거해도 측정된 비용이 없음을 보인다. 방법론적 실마리가 전반에 걸쳐 이어진다: 안정성 인식 지표 하에서 그로킹 옵티마이저에 대한 "더 빠르다"는 주장은 뒤집힐 수 있으므로, 우리는 최초 통과(first-crossing) 시간과 지속적 그로킹(sustained-grok) 시간을 모두 보고한다. 재현성을 위해 전체 학습 및 분석 코드를 https://github.com/louiswang524/muon-grokking-frontier 에 공개한다.

arXiv:2607.20552v1cs.LG공통 태그 Stochastic Optimization, grokking

열역학적 가중치 감쇠: 어텐션 비열을 통한 그로킹 가속 탐구

Thermodynamic Weight Decay: Exploring Grokking Acceleration via Attention Specific Heat

그로킹 — 신경망이 학습 데이터를 암기한 뒤 한참 지나서야 일반화가 늦게 일어나는 현상 — 은 수천 에포크의 학습을 낭비하며 예측하기 어렵기로 악명 높다. 최근 트랜스포머 어텐션이 형식적으로 열역학적 시스템과 동형(isomorphic)이라는 결과를 바탕으로, 우리는 어텐션 로짓의 분산을 비열 Cv로 취급하고 그 피크가 일반화 전환을 안정적으로 앞선다는 것을 보인다. 우리는 CvAdamW를 제안한다. 이는 Cv를 온라인으로 모니터링하고 상전이(phase transition)가 감지되면 가중치 감쇠를 동적으로 조절하여 열 에너지를 주입하는 AdamW의 드롭인(drop-in) 변형이다. 엄격한 반복적 개발 과정을 통해 우리는 세 가지 실패 모드 — 초기화 노이즈, 미니배치 미세 요동(micro-ripples), 슬링샷(slingshot) 블라인딩 — 을 식별하고, 암기 게이트(memorization gate)와 지수 이동 평균(exponential-moving-average) 충격 흡수기로 이를 해결한다. 모듈러 산술(a+b mod 97)에서 CvAdamW는 4000 에포크 예산 내에서 기준선이 전혀 그로킹하지 못하는 조건에서 2802 에포크에 그로킹을 가능하게 한다. 또한 작업별 하이퍼파라미터를 제거하는 스케일 불변 z-점수 재공식화를 제안하고 10개의 쌍을 이룬 시드(seed)에 걸쳐 이를 평가한다. 쌍 분석(paired analysis)에 따르면 콜드스타트(cold-start) 변형은 평균 그로킹 지연(latency)을 257 에포크(6.0%; 중앙값 166 에포크; Wilcoxon p=0.049, Cohen's d=0.68, bootstrap 95% CI [53,489])만큼 줄이며 10개 시드 중 8개에서 개선된다. 이 단일 작업에서 Cv 피크는 10개 시드 모두에서 그로킹 이전에 나타난다. 우리 결과는 신경망이 임박한 일반화 전환의 탐지 가능한 전구(precursor)를 드러낼 수 있으며, 물리적으로 동기 부여된 비례적 개입이 고정된 연산 예산 내에서 일반화를 촉진할 수 있음을 시사한다. 코드와 데이터는 공개되어 있다.

arXiv:2606.17120v1cs.LG공통 태그 Stochastic Optimization, grokking

준안정 상태에서의 노이즈 구동 탈출은 심층 신경망의 그로킹을 설명합니다

Noise-Driven Escape from Metastable Phases explains Grokking in Deep Neural Networks

심층 신경망(DNNs)은 L2 정규화 강도의 변화에 따라 1차 상전이를 보이며, 각 전이는 새로운 학습 가능한 특징의 시작을 알립니다. 임계 정규화 강도 미만에서는 모든 특징이 원칙적으로 학습 가능하지만, 에너지 장벽으로 분리된 공존하는 준안정 상태가 네트워크를 가두어 수렴을 방해할 수 있습니다. DNN의 강점은 일반화 능력입니다. 하지만 여전히 많은 미해결 문제가 남아 있으며, 그중 하나는 소위 그로킹(grokking)의 기원입니다. 즉, 장기간의 명백한 과적합 이후에 일반화가 갑작스럽게 지연되어 시작되는 현상입니다. 우리는 선형 DNNs에 대해 그로킹이 1차 L2 상전이에서의 히스테리시스와 일치함을 보입니다. L2 정규화를 사용하여 의도적인 가둠을 설계함으로써, 저정확도 준안정 상태에 있는 모델은 SGD 노이즈가 에너지 장벽을 넘어갈 때만 탈출하며, 탈출 시간은 아레니우스 스케일링을 따름을 입증합니다. 우리는 준안정 상태에 모델을 의도적으로 가둠으로써, 탈출 시간에서 두 자릿수의 크기 차이에 걸쳐 그로킹과 유사한 지연된 수렴을 재현했습니다. 희소 서브샘플링을 사용하여 우리는 테스트 오차가 최종 학습 오차에 결국 도달하는 전형적인 그로킹 곡선도 재현했습니다. 우리의 연구는 준안정 상태의 수가 학습 가능한 특징의 수(데이터 공분산의 특이값당 하나)와 같으며, 히스테리시스의 가능성은 작업 복잡도에 따라 자연스럽게 증가함을 시사합니다. 우리는 동일한 메커니즘이 일반적인 비선형 DNNs에서도 작동할 가능성이 있음을 입증하는 증거를 제시합니다. 우리의 결과는 더 효율적인 학습 방식으로 가는 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.