가중치와 바이어스는 일반적으로 별도의 매개변수 텐서로 최적화되지만, 아핀 층의 입력 평균이 0이 아닐 때는 서로 다른 함수를 나타내지 않는다. 입력 평균이 $μ$인 아핀 사상 $z=Wx+b$에서, 가중치 업데이트는 바이어스 업데이트와 기능적으로 구분할 수 없는, 샘플에 독립적인 변위 $ΔWμ$를 포함한다. 우리는 이 숨겨진 기여를 경계 이동(boundary motion)이라 부르고, 각 업데이트를 중심화된, 샘플에 따라 변하는 형태(shape) 성분과 공유된 경계(boundary) 성분으로 분해한다. IMDb에서 처음부터 학습한 4층 트랜스포머에서, 바이어스 유사 항 $g_bμ^\top$의 중앙값 노름은 아핀 층과 학습 체크포인트 전반에 걸쳐 원시 가중치 그래디언트 노름의 0.664와 같다. 더 주목할 만한 점은, 중앙값 비율 $\norm{ΔWμ}/\norm{Δb}$가 134.7인 반면 $\norm{ΔWμ}/\norm{Δb+ΔWμ}$는 0.994라는 것이다. 따라서 AdamW 하에서 관측된 경계 이동은 명시적 바이어스보다는 거의 전적으로 가중치 행렬을 통해 실현된다. 우리는 가중치에 의해 유발된 경계 변위를 보상하고, 독립적인 Adam 상태로 $g_W-g_bμ^\top$와 $g_b$를 최적화하는 진단용 옵티마이저인 Shape--Boundary Orthogonal AdamW(SBO-AdamW)를 구현한다. 단일 시드 실험에서 SBO-AdamW는 검증 정확도를 81.68\%에서 85.81\%로, 검증으로 선택한 테스트 정확도를 78.73\%에서 82.73\%로 높였으며, 최적 검증 체크포인트는 3000 스텝이 아닌 800 스텝에서 나타났다. 그러나 이동 배치 중심 보상은 심각한 바이어스 좌표 표류를 유발하고 경계 에너지를 크게 감소시킨다. 따라서 현재의 증거는 숨겨진 경계 이동이 중요한 최적화 메커니즘임을 뒷받침하지만, 아직 최종적인 범용 옵티마이저를 확립하지는 못한다. 안정적인 중심화 아핀 매개변수화가 필요한 다음 단계로 확인되었다.
이질적인 클라이언트 데이터 환경에서 연합학습(Federated Learning)의 AdamW 학습 시 발생하는 좌표별 신뢰 불일치(coordinate trust mismatch) 문제를 해결하기 위해, 전역 보정된 적응형 방향을 토대로 좌표별 신뢰 점수에 따라 업데이트 크기를 재분배하는 FedACT를 제안한다. 비전 트랜스포머, CNN, LLM 사전학습 및 파인튜닝 실험에서 FedACT는 기존 연합 적응형 최적화 기준선 대비 일관된 성능 향상을 보이며, 특히 데이터 이질성이 강한 트랜스포머 모델에서 가장 큰 개선 효과를 나타냈다.
AdamW와 같은 고정 클록 옵티마이저에서 모멘트 버퍼가 스텝 인덱스에 따라 진행되기 때문에, 파인튜닝 시 데이터 셔플 순서의 영향이 메모리 없는 분석의 예측(O(η²))보다 한 차수 낮은 O(η)로 나타나는 1차 노이즈 채널이 발생함을 이론적으로 규명한다. 이 메커니즘을 분리하고 AdamW에 대한 폐쇄형 순서-분산 하한을 도출하여, 단일 셔플 시드 하나만으로도 근접한 A/B 비교 결과가 뒤집힐 수 있음을 보이며, 파인튜닝 비교에서 시드 예산을 결정하는 기준을 제시한다.
LLM 사전학습에서 흔한 중(重)꼬리 확률적 그래디언트 노이즈 하에서 AdamW가 Lion·Muon 같은 부호 기반 옵티마이저와 같은 수렴률을 달성할 수 있는지를 미해결 문제로 공식화한다. 긍정적인 가중 메트릭(weighted-metric) 벤치마크를 증명하고, 2차 모멘트 분모 메모리가 큰 그래디언트를 가릴 수 있다는 회랑(corridor) 하한 메커니즘을 제시한다.
트랜스포머 가중치 분포를 진단하는 2-매개변수 와이불 프레임워크를 기반으로, 우리는 AdamW 학습 동안 와이불 가중치 스케일 매개변수 $\lambda$가 왜 증가했다가 오버슈트한 뒤 이완되는지 연구합니다. 우리는 AdamW 업데이트로부터 가중치 제곱 놈의 선행 차수 3-힘 분해를 유도합니다: 가중치와 적응형 업데이트 방향 간의 상관관계를 측정하는 정렬 힘(alignment force), 적응형 스텝 크기로 인한 주입 힘(injection force), 그리고 분리된 가중치 감쇠(decoupled weight decay)로 인한 감쇠 힘(decay force)입니다. 실제 옵티마이저 모멘트(ground-truth optimizer moments)를 가진 직접 학습된 Pythia-70M 모델에서, 정렬 힘은 상승 단계를 지배하며 4개의 무작위 시드(random seeds)에 걸쳐 절대 힘 예산의 88-94%를 기여하고 슈퍼 가중치(super-weight) 제거 후에도 견고성을 유지합니다. 포화 상태에 근접하면 정렬과 감쇠가 균형을 이루어, 가중치 스케일 증가에서 이완으로의 전이를 설명합니다. 이러한 힘 동역학은 $\lambda(t)$의 기저에 있는 제곱 놈 구성 요소를 직접 제어합니다. 나머지 RMS-와이불 재구성 오프셋(offset)은 측정 가능하며 브리지(bridge) 및 적분(integration) 구성 요소로 분해되어, 밀집 샘플링 영역에서 총 약 5-6%를 차지합니다. 옵티마이저 모멘트를 사용할 수 없는 실제 모델로 분석을 확장하기 위해, 우리는 희소 체크포인트(sparse checkpoints)에서 정렬 힘을 약 92-94%의 정확도로 복원하는 스플라인 변위(spline displacement) 방법을 도입했으며, 이는 순진한 2점 기준선(naive two-point baseline)보다 약 두 배 높습니다. 우리는 실험에서 $\lambda(t)$의 최댓값이 학습 데이터 일관성(training-data coherence)에 따라 달라진다는 점을 추가로 관찰했으며, 이는 가중치 스케일 증가의 데이터 의존적 요소가 있음을 시사하므로 이에 대한 통제된 후속 연구로 남겨둡니다. 코드와 데이터는 https://github.com/tiexinding/NPM-Weibull-public 에서 확인할 수 있습니다.