드리프트 계약: 깊이에 강건한 로컬 학습을 위한 스펙트럼 업데이트
The Drift Contract: Spectral Updates for Depth-Robust Local Learning
로컬 학습(local learning)은 전역 역전파(global backward pass) 없이 각 층(layer)을 자체 보조 손실(loss)로 학습(training)하므로 층 업데이트를 구조적으로 병렬화할 수 있게 합니다. 그러나 깊이가 깊어질수록 정확도가 저하되고 하이퍼파라미터가 취약하다는 두 가지 문제로 인해 비주류에 머물러 있었습니다. 본 연구에서는 기존에 연구되지 않았던 교집합 영역으로서, 층별 로컬 업데이트에 Muon 스타일의 스펙트럼 업데이트 기하학(스펙트럼 스텝 스케일링을 결합한 모멘텀 직교화)을 적용합니다. 로컬 선형 헤드를 갖춘 CIFAR-10 MLP 벤치마크(benchmark)에서, 로컬 Adam은 너비와 깊이 두 축 모두에서 재튜닝이 필요하고 깊이 48에서는 여전히 붕괴(깊이별 재튜닝 시 31.3%, 깊이 12 설정을 전이했을 때 19%, 반면 스펙트럼 업데이트는 변경되지 않은 설정에서 42.7%)하는 반면, 스펙트럼 업데이트는 단일 스텝 크기 설정만으로 테스트된 너비 128~2048 및 깊이 12~48 격자에서 최적의 값을 보였습니다. 5개의 시드와 너비 512에서 스펙트럼 업데이트는 로컬 Adam을 뚜렷한 마진(margin)으로 앞섭니다(48.9 +/- 0.5 대 46.6 +/- 0.3). 전향적으로 명시된 대조 실험을 통해 이러한 전이 성능과 대부분의 깊이 강건성이 그 위의 어떤 스텝 크기 규칙보다는 스펙트럼 기하학 자체에 기인함을 확인했습니다. 추가로 스텝 크기를 드리프트 계약(drift contract), 즉 lr = epsilon / RMS(input)으로 정형화하여, 현재 입력을 조건으로 각 층의 스텝당 가중치(weight) 유도 사전 활성화(pre-activation) 변화를 제한합니다. 이 계약은 해당 기준선(baseline)이 측정된 지점에서 최적의 고정 학습률(learning rate) 대비 약간의 성능 향상을 가져오고, 스텝 크기를 해석 가능하게 만들며, 표준 최적화(optimization) 도구가 제공하지 못하는 층별·입력 조건부 드리프트 한계를 제공합니다. 한 가지 부정적 결과도 보고합니다. 트렁크(trunk)에 RMSNorm과 가중치 감쇠(weight decay)가 포함된 경우 스펙트럼 업데이트의 안정성 이점은 로컬 학습이 아닌 전역 학습에 귀속되므로, 로컬 학습의 이점은 정확히 정규화(normalization)가 부재한 곳에 집중됩니다.