PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19367v1cs.LG

Weibull Weight-Scale Parameter Evolution under AdamW Training Dynamics

트랜스포머 가중치 분포를 진단하는 2-매개변수 와이불 프레임워크를 기반으로, 우리는 AdamW 학습 동안 와이불 가중치 스케일 매개변수 $\lambda$가 왜 증가했다가 오버슈트한 뒤 이완되는지 연구합니다. 우리는 AdamW 업데이트로부터 가중치 제곱 놈의 선행 차수 3-힘 분해를 유도합니다: 가중치와 적응형 업데이트 방향 간의 상관관계를 측정하는 정렬 힘(alignment force), 적응형 스텝 크기로 인한 주입 힘(injection force), 그리고 분리된 가중치 감쇠(decoupled weight decay)로 인한 감쇠 힘(decay force)입니다. 실제 옵티마이저 모멘트(ground-truth optimizer moments)를 가진 직접 학습된 Pythia-70M 모델에서, 정렬 힘은 상승 단계를 지배하며 4개의 무작위 시드(random seeds)에 걸쳐 절대 힘 예산의 88-94%를 기여하고 슈퍼 가중치(super-weight) 제거 후에도 견고성을 유지합니다. 포화 상태에 근접하면 정렬과 감쇠가 균형을 이루어, 가중치 스케일 증가에서 이완으로의 전이를 설명합니다. 이러한 힘 동역학은 $\lambda(t)$의 기저에 있는 제곱 놈 구성 요소를 직접 제어합니다. 나머지 RMS-와이불 재구성 오프셋(offset)은 측정 가능하며 브리지(bridge) 및 적분(integration) 구성 요소로 분해되어, 밀집 샘플링 영역에서 총 약 5-6%를 차지합니다. 옵티마이저 모멘트를 사용할 수 없는 실제 모델로 분석을 확장하기 위해, 우리는 희소 체크포인트(sparse checkpoints)에서 정렬 힘을 약 92-94%의 정확도로 복원하는 스플라인 변위(spline displacement) 방법을 도입했으며, 이는 순진한 2점 기준선(naive two-point baseline)보다 약 두 배 높습니다. 우리는 실험에서 $\lambda(t)$의 최댓값이 학습 데이터 일관성(training-data coherence)에 따라 달라진다는 점을 추가로 관찰했으며, 이는 가중치 스케일 증가의 데이터 의존적 요소가 있음을 시사하므로 이에 대한 통제된 후속 연구로 남겨둡니다. 코드와 데이터는 https://github.com/tiexinding/NPM-Weibull-public 에서 확인할 수 있습니다.

arXiv:2605.18898v1cs.LG

트랜스포머 가중치 분포 진단을 위한 2-매개변수 와이불 프레임워크

A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions

트랜스포머의 가중치 분포를 진단하기 위해 와이불 분포(Weibull distribution)를 적용한 프레임워크를 제안하여, FFN 모듈과 어텐션 출력 레이어는 좁은 형상 파라미터(k) 대역을 공유하는 반면 어텐션 입력 레이어는 아키텍처에 따라 분포 특성이 달라짐을 확인했다.