Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics
트랜스포머 가중치 분포를 진단하는 2-매개변수 와이불 프레임워크를 기반으로, 우리는 AdamW 학습 동안 와이불 가중치 스케일 매개변수 $\lambda$가 왜 증가했다가 오버슈트한 뒤 이완되는지 연구합니다. 우리는 AdamW 업데이트로부터 가중치 제곱 놈의 선행 차수 3-힘 분해를 유도합니다: 가중치와 적응형 업데이트 방향 간의 상관관계를 측정하는 정렬 힘(alignment force), 적응형 스텝 크기로 인한 주입 힘(injection force), 그리고 분리된 가중치 감쇠(decoupled weight decay)로 인한 감쇠 힘(decay force)입니다. 실제 옵티마이저 모멘트(ground-truth optimizer moments)를 가진 직접 학습된 Pythia-70M 모델에서, 정렬 힘은 상승 단계를 지배하며 4개의 무작위 시드(random seeds)에 걸쳐 절대 힘 예산의 88-94%를 기여하고 슈퍼 가중치(super-weight) 제거 후에도 견고성을 유지합니다. 포화 상태에 근접하면 정렬과 감쇠가 균형을 이루어, 가중치 스케일 증가에서 이완으로의 전이를 설명합니다. 이러한 힘 동역학은 $\lambda(t)$의 기저에 있는 제곱 놈 구성 요소를 직접 제어합니다. 나머지 RMS-와이불 재구성 오프셋(offset)은 측정 가능하며 브리지(bridge) 및 적분(integration) 구성 요소로 분해되어, 밀집 샘플링 영역에서 총 약 5-6%를 차지합니다. 옵티마이저 모멘트를 사용할 수 없는 실제 모델로 분석을 확장하기 위해, 우리는 희소 체크포인트(sparse checkpoints)에서 정렬 힘을 약 92-94%의 정확도로 복원하는 스플라인 변위(spline displacement) 방법을 도입했으며, 이는 순진한 2점 기준선(naive two-point baseline)보다 약 두 배 높습니다. 우리는 실험에서 $\lambda(t)$의 최댓값이 학습 데이터 일관성(training-data coherence)에 따라 달라진다는 점을 추가로 관찰했으며, 이는 가중치 스케일 증가의 데이터 의존적 요소가 있음을 시사하므로 이에 대한 통제된 후속 연구로 남겨둡니다. 코드와 데이터는 https://github.com/tiexinding/NPM-Weibull-public 에서 확인할 수 있습니다.