$μ$pscaling small models: Principled warm starts and hyperparameter transfer
μP(Maximal Update Parametrization)에 착안하여, 사전학습된 소형 모델의 가중치를 복사·교란해 대형 모델을 초기화하는 이론적으로 정립된 너비 기반 업스케일링(upscaling) 방법론을 제안하며, 동적 동치(dynamic equivalence) 이론을 통해 업스케일된 모델 전반에 걸쳐 하이퍼파라미터 전이(hyperparameter transfer)가 가능함을 증명한다. 이를 통해 소형 업스케일 모델에서 튜닝한 최적 하이퍼파라미터를 대규모 업스케일링에 제로샷으로 적용할 수 있으며, MLP, ResNet, GPT-2 등 다양한 아키텍처에서 실험적으로 그 효과를 입증하였다.