arXiv:2610.00403v2 cs.LG

논리와 기억 사이의 충돌: 옵티마이저 의존적 규칙 습득을 위한 학습 조건

The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition

Gongyue Zhang, Honghai Liu

제출 2026-09-30

한국어 초록

옵티마이저는 동일한 태스크에 적합(fit)되더라도 서로 다른 일반화 관계를 습득할 수 있다. 본 연구에서는 단일 은닉층 ReLU 네트워크에서 복합 증거 태스크, 매개변수 수준의 개입, 그리고 3개 시드에 대한 엄격한 패리티 스캔을 결합하여 이러한 차이를 지배하는 학습 조건을 분석한다. 우리의 핵심 발견은 방해 요인(nuisance)과 연결된 학습 가능성이 공유된 실패와 상대적인 옵티마이저 이점을 모두 재편한다는 것이다. 방해 요인이 많은 태스크에서 테스트된 20개의 옵티마이저 구성 전부는 가장 어려운 단계에서 무작위 추정(chance) 수준에 머문다. 그러나 모든 입력을 유지하면서 방해 요인과 연결된 첫 번째 층 가중치를 초기화 상태로 고정하면, 해당 단계의 정확도가 약 50%에서 모멘텀 SGD는 70.56%, Adam은 68.47%, Muon은 69.00%로 상승한다. 전체 학습이 끝난 후에야 동일한 입력을 마스킹하는 방식으로는 이러한 성능을 복원할 수 없다. 별도의 쌍별 모드 태스크에서는 목표 및 모드 빈도가 고정되어 있는 상태에서도 배경 동결이 모멘텀 SGD 대비 Muon의 희귀 모드 이점을 12.48%포인트 감소시킨다. 각 개입은 조건별 학습률과 체크포인트를 갖춘 공통 검증-선택 프로토콜 하에서 평가된다. 차수 1~20에 걸친 엄격한 패리티 스윕은 허위 단서나 추가적인 방해 요인 좌표가 없는 상호보완적 참조 기준을 제공하며, 옵티마이저들은 차수 9~11에서 분기된 후 상당한 베이즈 예측 가능성이 남아있음에도 무작위 추정 수준에 근접한다. 혼합 태스크를 통해 복원 경계를 규명하고, CIFAR-10으로 외부 아키텍처 비교를 제공한다. 종합적으로 이러한 결과는 옵티마이저 비교를 특정 관계의 습득 및 사용과 연결하며, 허용된 적응을 고정된 아키텍처가 학습하는 내용을 변화시키는 구체적인 학습 변수로 식별한다.

원문 초록

Optimizers can fit the same task while acquiring different generalizing relations. We study the training conditions governing these differences in single-hidden-layer ReLU networks, combining composite evidence tasks, parameter-level interventions, and a three-seed strict-parity scan. Our central finding is that nuisance-connected trainability reshapes both shared failures and relative optimizer advantages. In a nuisance-heavy task, all twenty tested optimizer configurations remain near chance on the hardest stage. Retaining every input but fixing nuisance-connected first-layer weights at initialization raises that stage's accuracy from approximately 50\% to 70.56\%, 68.47\%, and 69.00\% for momentum SGD, Adam, and Muon. Masking the same inputs only after full training does not recover this performance. On a separate pairwise-mode task, background freezing reduces Muon's rare-mode advantage over momentum SGD by 12.48 percentage points, while the target and mode frequencies remain fixed. Each intervention is evaluated under a common validation-selection protocol with condition-specific learning rates and checkpoints. A strict-parity sweep over orders 1--20 provides a complementary reference without spurious cues or extra nuisance coordinates: the optimizers separate at orders 9--11, then approach chance despite substantial remaining Bayes predictability. A mixed task establishes a recovery boundary, and CIFAR-10 supplies an external architecture comparison. Together, these findings connect optimizer comparison to the acquisition and use of specified relations, identifying permitted adaptation as a concrete training variable that changes what a fixed architecture learns.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00403v2
  2. arXiv:2610.00403v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20512v1cs.LG공통 태그 Stochastic Optimization, grokking, muon optimizer

Muon의 그로킹에서 핵심 요인

The Active Ingredient in Muon's Grokking

Muon 옵티마이저는 모듈러 산술에서 AdamW보다 더 빠르게 그로킹 임계값에 도달한다. 선행 연구는 이를 "스펙트럴 노름 제약과 직교화된 모멘텀"에 기인한다고 설명하지만, 어떤 메커니즘이 중요한지는 분리하지 않았다. Muon의 거동을 더 잘 이해하기 위해, 우리는 다중 시드 및 다중 학습률 스윕을 수행하여 그 효과를 분해하고 스트레스 테스트한다. 첫째, 어블레이션(ablation) 결과 속도 향상은 직교화(Newton-Schulz 반복)에서 비롯됨을 보여준다: 직교화만 수행하는 설정은 전체 Muon과 일치하는 반면, 스펙트럴만 적용하는 설정은 AdamW보다 빠르지 않으며 불안정하고, 이 결론은 학습률 전반에 걸쳐 성립한다. 둘째, 기계론적 분석은 직교화 옵티마이저가 대략 3배 낮은 스펙트럴 노름에서 일반화에 도달하며, 임베딩이 실제로 얼마나 이동하는지를 통제할 때 임베딩을 덜 교란하는 것이 아니라 더 낮은 노름의 해로 수렴함을 밝힌다. 셋째, Newton-Schulz 반복 횟수를 5회에서 1회로 줄이면 임계값 도달이 빨라지지만 그로킹된 해가 취약해지고 일시적 붕괴에 취약해지며, 그 취약성은 학습률이 커질수록 증가한다; 단일 반복은 작은 학습률에서만 빠르고 안정적이며, 표준 5회 반복이 학습률에 강건한 선택이다. 우리는 또한 스펙트럴 스케일링을 제거해도 측정된 비용이 없음을 보인다. 방법론적 실마리가 전반에 걸쳐 이어진다: 안정성 인식 지표 하에서 그로킹 옵티마이저에 대한 "더 빠르다"는 주장은 뒤집힐 수 있으므로, 우리는 최초 통과(first-crossing) 시간과 지속적 그로킹(sustained-grok) 시간을 모두 보고한다. 재현성을 위해 전체 학습 및 분석 코드를 https://github.com/louiswang524/muon-grokking-frontier 에 공개한다.

arXiv:2610.13789v1cs.LG공통 태그 Stochastic Optimization, muon optimizer

저비용 예측기를 활용한 무작위 모멘텀 전송

Randomized Momentum Transport with Cheap Predictors

STORM 및 2차 모멘텀(second-order momentum)과 같은 모멘텀(momentum) 방법들은 모멘텀에 전송 보정(transport correction)을 추가하여 그래디언트(gradient)를 추적하며, 이는 반복(iteration)마다 추가적인 오라클(oracle) 호출을 필요로 한다. 본 논문은 확률 $q$로 보정을 평가하고 그렇지 않은 경우 저비용 예측(cheap prediction)을 사용하는 무작위 모멘텀 전송(randomized momentum transport)을 소개하며, 조건부 평균을 보존하는 중요도 가중(importance weighting)을 사용하고 분산에 예측 손실(loss)의 $(q^{-1}-1)$배를 추가한다. 전송 바이어스(bias), 2차 모멘트, 잔차 제어 가정 하에서, 정규화(normalized), 사인(sign), 정확한 스펙트럴(exact spectral, Muon) 방향을 포함한 선형 최소화 오라클(linear minimization oracle, LMO) 업데이트는 단일 그래디언트 초기화(initialization)를 사용하여 고정된 각 $q>0$에 대해 $O(T^{-1/3})$ 정상성(stationarity) 바운드를 유지한다. 정규화되지 않은(unnormalized) STORM의 경우, 그래디언트 차이 노이즈 모듈러스가 평활성 상수를 초과하는 경우에만 (그리고 오직 그 경우에만) 일부 $q<1$이 충분 그래디언트 예산의 선도 계수를 최대 약 $10\%$까지 낮춘다. 온라인 대각 예측기는 후회-수렴(regret-to-convergence) 보장을 허용한다. 오라클 비용이 거의 동일한 조건에서, 보정값의 4분의 1만 조회하는 것은 MNIST1D에서 최종 학습(training) 손실(loss)을 $18$에서 $43\%$까지 낮추고, CIFAR-10에서 헤시안(Hessian)-벡터 전송의 테스트 정확도를 $1.5$포인트 높인다.

arXiv:2610.10965v1cs.LG공통 태그 Stochastic Optimization, muon optimizer

스펙트럼 타겟 Muon

Spectrally Targeted Muon

Muon 옵티마이저는 각 업데이트 행렬을 직교화하여 모든 특이값(singular value)을 1로 설정하며, 대규모 언어 모델 학습에 매우 효과적인 것으로 입증되었다. 그러나 이러한 성공이 경사하강법(gradient descent)이 무시하는 작은 특이 방향을 증폭시키는 데서 오는 것인지, 아니면 학습을 저해하는 크고 퇴화된(degenerate) 방향을 억제하는 데서 오는 것인지는 여전히 불분명하다. 우리는 임계값 $τ$보다 크거나 작은 특이값만을 직교화하는 Spectrally Targeted Muon을 제안하며, $τ$를 변화시킴으로써 정규화된 SGD(normalized SGD)와 Muon 사이를 보간할 수 있다. 이 방법은 이동된 그램 행렬(shifted Gram matrix)에 대한 Newton-Schulz 반복으로 계산된 투영을 이용해 관련 특이 부분공간을 분리하므로, SVD가 필요하지 않다. 우리는 CIFAR-10과 NanoGPT 스피드런(speedrun)에서 이러한 변형들을 평가하며, 그래디언트, 업데이트, 가중치 행렬의 유효 랭크(effective rank)와, 가중치 행렬의 등스펙트럼 다양체(isospectral manifold)의 접공간에 대한 업데이트의 정렬(alignment)이라는 새로운 지표를 추적한다. 우리는 세 가지를 발견했다. 첫째, 모멘텀의 작은 특이값은 잡음이 아니다. 각 행렬의 가장 큰 몇 개의 특이값을 제외한 모든 것을 직교화하면 모멘텀의 극히 일부만을 다루면서도 Muon에 거의 근접하는 반면, 상위 특이값만을 직교화하면 모멘텀의 거의 전부를 포함함에도 훨씬 못 미치는 성능을 보인다. 언어 모델에서는 모멘텀의 모든 특이값이 1보다 훨씬 작으므로, 타겟 직교화는 증폭만을 할 수 있으며, Muon은 원래 크기로는 학습이 불가능할 정도로 작은 방향들을 학습 가능하게 만듦으로써 우위를 얻는다. 둘째, 가장 큰 특이값을 축소하는 것이 매개변수 스펙트럼을 평탄하게 유지하는 요인이다; 이는 비용이 적게 들지만 손실을 주도하는 요인은 아니다. 셋째, AdamW는 구조를 형성하는 속도가 Muon보다 느리다는 점에서 주로 차이를 보이며, 이는 AdamW의 느린 초기 학습과, 왜 웜업(warmup)이 AdamW에는 도움이 되지만 Muon에는 오히려 해가 되는지를 설명한다.

arXiv:2610.10975v1cs.LG공통 태그 Stochastic Optimization, muon optimizer

연쇄적 선형 최소화 오라클을 활용한 대규모 언어 모델 최적화

Optimizing Large Language Models with Chained LMOs

Muon은 여러 행렬 정규화(matrix normalization)를 합성하는 다양한 옵티마이저 제품군의 등장을 촉진했으나, 이러한 방법들은 여전히 파편화되어 있으며 통일된 관점이 부족합니다. 본 논문에서는 이러한 방법들을 선형 최소화 오라클(LMO)의 합성으로 체계화하는 연쇄적 선형 최소화 오라클(chained LMOs)을 소개합니다. 실증적인 성공에도 불구하고 다수의 체인은 표준 LMO 프레임워크를 벗어나며 매끄러운 볼록 목적 함수(smooth convex objectives)에서 발산할 수 있습니다. 합성 연산이 그럼에도 도움이 되는 이유를 설명하기 위해, 우리는 선형 연상 메모리(linear associative memory)를 활용하여 비등방성 임베딩(anisotropic embeddings) 조건에서 체이닝이 Muon보다 성능을 향상시킬 수 있음을 보입니다. 실증적으로는 이 프레임워크 기반의 새로운 옵티마이저인 TensorChain을 제안하며, 이는 서로 다른 레이어에 걸쳐 호환 가능한 가중치 행렬들을 쌓아 해당 3차원 텐서를 축 전반에 걸쳐 정규화합니다. Qwen3 0.6B 및 1.7B 사전학습에서 TensorChain은 평균 토큰 효율성 측면에서 모든 연쇄적 베이스라인을 능가하였으며, 동일한 검증 손실에서 Muon 대비 평균 9.6%의 토큰 절감 효과를 달성했습니다.

arXiv:2608.07436v2cs.AI공통 태그 grokking, muon optimizer

Muon으로 학습된 트랜스포머의 표현-판독 인터페이스에서 발생하는 그로킹 이후 붕괴 현상

Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers

Muon으로 학습(training)된 모듈러 연산 트랜스포머는 선형적으로 디코딩 가능한 태스크 정보를 유지하면서도 정확도를 잃을 수 있습니다. 인접 교체 분석을 통해 포착된 5건의 비정규화 실패 원인이 AdamW 판독(readout) 업데이트에 위치함을 국소화했습니다. 실제 판독 변위에 큰 특징(feature) 평균을 곱하면 입력 전반에 공유되는 클래스 종속적 로짓(logit) 오프셋이 발생하며, 이는 각 실패를 거의 재현합니다. 학습 전용 디코더는 98.20~100%의 미학습 검증(held-out) 정확도를 복원합니다. 교차 엔트로피(cross-entropy) 도함수(derivative) 오차를 교정하면 100,000단계까지 5개의 일치된 브랜치가 안정화되지만, 향후 정확한 CE RMS를 적용한 4건의 실험은 임베딩(embedding) 업데이트를 통해 실패합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.