arXiv:2606.19367v1 cs.LG

Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

Tiexin Ding

제출 2026-06-11

한국어 초록

트랜스포머 가중치 분포를 진단하는 2-매개변수 와이불 프레임워크를 기반으로, 우리는 AdamW 학습 동안 와이불 가중치 스케일 매개변수 $\lambda$가 왜 증가했다가 오버슈트한 뒤 이완되는지 연구합니다. 우리는 AdamW 업데이트로부터 가중치 제곱 놈의 선행 차수 3-힘 분해를 유도합니다: 가중치와 적응형 업데이트 방향 간의 상관관계를 측정하는 정렬 힘(alignment force), 적응형 스텝 크기로 인한 주입 힘(injection force), 그리고 분리된 가중치 감쇠(decoupled weight decay)로 인한 감쇠 힘(decay force)입니다. 실제 옵티마이저 모멘트(ground-truth optimizer moments)를 가진 직접 학습된 Pythia-70M 모델에서, 정렬 힘은 상승 단계를 지배하며 4개의 무작위 시드(random seeds)에 걸쳐 절대 힘 예산의 88-94%를 기여하고 슈퍼 가중치(super-weight) 제거 후에도 견고성을 유지합니다. 포화 상태에 근접하면 정렬과 감쇠가 균형을 이루어, 가중치 스케일 증가에서 이완으로의 전이를 설명합니다. 이러한 힘 동역학은 $\lambda(t)$의 기저에 있는 제곱 놈 구성 요소를 직접 제어합니다. 나머지 RMS-와이불 재구성 오프셋(offset)은 측정 가능하며 브리지(bridge) 및 적분(integration) 구성 요소로 분해되어, 밀집 샘플링 영역에서 총 약 5-6%를 차지합니다. 옵티마이저 모멘트를 사용할 수 없는 실제 모델로 분석을 확장하기 위해, 우리는 희소 체크포인트(sparse checkpoints)에서 정렬 힘을 약 92-94%의 정확도로 복원하는 스플라인 변위(spline displacement) 방법을 도입했으며, 이는 순진한 2점 기준선(naive two-point baseline)보다 약 두 배 높습니다. 우리는 실험에서 $\lambda(t)$의 최댓값이 학습 데이터 일관성(training-data coherence)에 따라 달라진다는 점을 추가로 관찰했으며, 이는 가중치 스케일 증가의 데이터 의존적 요소가 있음을 시사하므로 이에 대한 통제된 후속 연구로 남겨둡니다. 코드와 데이터는 https://github.com/tiexinding/NPM-Weibull-public 에서 확인할 수 있습니다.

원문 초록

Building on a two-parameter Weibull framework for diagnosing transformer weight distributions, we study why the Weibull weight-scale parameter $λ$ grows, overshoots, and then relaxes during AdamW training. We derive a leading-order three-force decomposition of the squared weight norm from the AdamW update: an alignment force measuring the correlation between weights and the adaptive update direction, an injection force from adaptive step magnitude, and a decay force from decoupled weight decay. On self-trained Pythia-70M models with ground-truth optimizer moments, alignment dominates the rise phase, contributing 88-94% of the absolute force budget across four random seeds and remaining robust to super-weight removal. Near saturation, alignment and decay approach balance, explaining the transition from weight-scale growth to relaxation. These force dynamics directly govern the squared-norm component underlying $λ(t)$; the remaining RMS-to-Weibull reconstruction offset is measurable and decomposes into bridge and integration components, totaling approximately 5-6% in densely sampled regions. To extend the analysis to real models where optimizer moments are unavailable, we introduce a spline displacement method that recovers the alignment force from sparse checkpoints with approximately 92-94% accuracy, about twice the naive two-point baseline. We further observe that the peak value of $λ(t)$ varies with training-data coherence in our experiments, suggesting a data-dependent component of weight-scale growth that we leave to a controlled follow-up study. Code and data are available at https://github.com/tiexinding/NPM-Weibull-public.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19367v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22927v1cs.LG공통 태그 Stochastic Optimization, Diagnostic, adamw

트랜스포머 최적화에서의 숨겨진 경계 이동: 아핀 가중치 및 바이어스 업데이트의 함수 공간 직교화

Hidden Boundary Motion in Transformer Optimization: Function-Space Orthogonalization of Affine Weight and Bias Updates

가중치와 바이어스는 일반적으로 별도의 매개변수 텐서로 최적화되지만, 아핀 층의 입력 평균이 0이 아닐 때는 서로 다른 함수를 나타내지 않는다. 입력 평균이 $μ$인 아핀 사상 $z=Wx+b$에서, 가중치 업데이트는 바이어스 업데이트와 기능적으로 구분할 수 없는, 샘플에 독립적인 변위 $ΔWμ$를 포함한다. 우리는 이 숨겨진 기여를 경계 이동(boundary motion)이라 부르고, 각 업데이트를 중심화된, 샘플에 따라 변하는 형태(shape) 성분과 공유된 경계(boundary) 성분으로 분해한다. IMDb에서 처음부터 학습한 4층 트랜스포머에서, 바이어스 유사 항 $g_bμ^\top$의 중앙값 노름은 아핀 층과 학습 체크포인트 전반에 걸쳐 원시 가중치 그래디언트 노름의 0.664와 같다. 더 주목할 만한 점은, 중앙값 비율 $\norm{ΔWμ}/\norm{Δb}$가 134.7인 반면 $\norm{ΔWμ}/\norm{Δb+ΔWμ}$는 0.994라는 것이다. 따라서 AdamW 하에서 관측된 경계 이동은 명시적 바이어스보다는 거의 전적으로 가중치 행렬을 통해 실현된다. 우리는 가중치에 의해 유발된 경계 변위를 보상하고, 독립적인 Adam 상태로 $g_W-g_bμ^\top$와 $g_b$를 최적화하는 진단용 옵티마이저인 Shape--Boundary Orthogonal AdamW(SBO-AdamW)를 구현한다. 단일 시드 실험에서 SBO-AdamW는 검증 정확도를 81.68\%에서 85.81\%로, 검증으로 선택한 테스트 정확도를 78.73\%에서 82.73\%로 높였으며, 최적 검증 체크포인트는 3000 스텝이 아닌 800 스텝에서 나타났다. 그러나 이동 배치 중심 보상은 심각한 바이어스 좌표 표류를 유발하고 경계 에너지를 크게 감소시킨다. 따라서 현재의 증거는 숨겨진 경계 이동이 중요한 최적화 메커니즘임을 뒷받침하지만, 아직 최종적인 범용 옵티마이저를 확립하지는 못한다. 안정적인 중심화 아핀 매개변수화가 필요한 다음 단계로 확인되었다.

arXiv:2610.00234v1cs.AI공통 태그 Stochastic Optimization, training dynamics

상충하는 감독은 역량이 아닌 전념을 이동시킨다: 관례 무관 점수 하에서는 정확히 0이 되는 12.29σ의 배치 효과

Conflicting Supervision Moves Commitment, Not Capability: A 12.29σ arrangement effect that is exactly zero under a convention-agnostic score

둘 다 맞지만 서로 양립할 수 없는 두 가지 관례로 작성된 동일한 문제들로 모델을 학습(training)시키고, 이러한 데이터의 순서가 파라미터에 무엇을 새겨 넣는지 질문해 본다. 학습률 스케줄(learning-rate schedule)은 그 질문에 대한 배경 조건에 불과한 것이 아니다. 그것은 평균화 연산자(averaging operator)이며, 그 해답을 결정한다. 우리는 순서 효과에 배치와 스케줄이 서로 곱해지는 분리된 인수로 들어가는 경계를 증명한다. 배치는 오직 블록 주기(block period)로서만, 스케줄은 종점이 실행 과정의 특정 시점에 얼마나 많은 가중치를 둘 수 있는지로서만 관여한다. 감쇠하는 스케줄(decaying schedule)은 동일한 시점에 큰 보폭(step size)과 수축되지 않은 잔차를 동시에 둘 수 없지만, 상수 스케줄은 마지막 스텝에서 정확히 그렇게 한다. 감쇠가 순서 효과를 완화한다는 점은 사전학습(pre-training)에서 보고된 바 있으나, 그 메커니즘과 분리, 그리고 두 부분에 대한 통제된 측정은 본 연구의 성과이다. 하나의 말뭉치, 하나의 예산으로 경로 외의 모든 것을 고정한 채 10가지 순서로 lr_scheduler_type만 다르고 다른 것은 동일한 군(family) 하에서 두 번 실행하였다. 상수 학습률에서는 내부가 할당에서 0.2221, 11.63의 대비 하한을 차지하며 배치가 얼마나 블록화되어 있는지에 따라 단조성을 띤다. 기발표된 모든 실험군(arm)이 사용하는 단일 코사인 하에서는, 동일한 10개의 실험군이 자체 해상도로는 약 10개를 허용함에도 식별 가능한 2개의 상태를 차지한다. '순서가 중요하다'와 '순서가 중요하지 않다'는 하나의 조절 노브의 양쪽 끝에 해당한다. 경로가 새겨 넣는 것은 모델이 어느 관례에 전념(commit)하는지이며, 어떤 완전 일치(exact-match) 벤치마크도 이를 감지할 수 없다. 12개의 실험군 전반에서 acc_A+acc_B는 9.7% 이내로 일정한 반면 할당 비율은 0.04에서 0.87까지 변동하므로, 본 논문에서 측정하는 12.29-시그마 배치 전환은 관례 무관(convention-agnostic) 지표 하에서는 정확히 0이다. 이러한 보존 법칙은 감쇠군 전체에서 인용된 것으로, 상수 학습률군은 이를 확인하기에 더 노이즈가 많은 환경이다. 프롬프트에 관례를 명시하면 이러한 전환이 붕괴되어 합집합 상한(union ceiling)의 87.5%에 도달한다.

arXiv:2607.22864v2cs.CV공통 태그 Diagnostic

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.