PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21005v2cs.LG

가중치 노름 임계성: 정규화와 가중치 감쇠에 의해 유발되는 손실 스파이크의 메커니즘

Weight-norm Criticality: A Mechanism for Loss Spikes Induced by the Normalization and Weight Decay

Most explanations of training instability focus on learning-rate criticality, typically characterized by the Edge of Stability, beyond which optimization becomes unstable. We argue that, in practical deep neural network training, there is an additional and often overlooked weight-norm criticality. This criticality is induced by the interaction between normalization (which introduces scale-invariant components) and weight decay (which persistently shrinks parameter norms). As the weight decay coefficient increases, the norms of scale-invariant weights are progressively driven toward zero. Meanwhile, the sharpness of the loss landscape increases rapidly, destabilizing the optimization dynamics and resulting in abrupt loss spikes. This perspective provides a rationale for why weight penalties can improve generalization yet cannot be made arbitrarily strong: excessive decay drives scale-invariant weight norms past a critical boundary and destabilizes training. Our work provides a new mechanistic understanding of loss spikes through the lens of weight-norm criticality. Moreover, weight-norm criticality yields testable predictions that we validate empirically in networks with scale-invariant components, providing empirical support for the proposed mechanism.

arXiv:2608.25813v3cs.LG

그로킹에서 정규화 기반 동역학의 창발 과정 매핑

Mapping the Emergence of Regularization-Driven Dynamics in Grokking

과매개변수화된(overparameterized) 신경망에서는 여러 해가 학습(training) 데이터를 동등하게 잘 적합하면서도 보지 않은 샘플에 대해서는 매우 다르게 동작할 수 있습니다. 그로킹(grokking)은 학습 적합과 가시적인 일반화를 분리하여, 이러한 해 선택이 학습 중에 어떻게 전개되는지 연구할 수 있는 창을 제공합니다. 본 연구에서는 일반화 이전 정체기(plateau) 전반에 걸쳐 짧고 고정된 기간의 가중치 감쇠(weight decay, WD) 섭동(perturbation)을 가하고, 이것이 이후 일반화 시점을 어떻게 변화시키는지 측정합니다. 세 가지 그로킹 태스크 전반에서, 이러한 변화는 정체기 초기에는 무질서하지만 가시적인 일반화가 일어나기 전 점차 안정적인 투여량 순서(dose ordering)를 형성합니다. 즉, 더 강한 WD 증가는 더 이른 일반화로 이어지고 더 강한 WD 감소는 더 늦은 일반화로 이어집니다. 섭동된 체크포인트와 기준선(baseline) 일반화 체크포인트 사이의 테스트 손실(loss) 장벽은 0으로 수렴하는 반면, 순서화된 타이밍 효과는 지속됩니다. Junior 등 (2025)의 그로킹 설정에서 $\ell_1$ 정규화(regularization)를 적용했을 때도 유사한 반응 재조직화가 관찰됩니다. 와딩턴(Waddington)의 발생학적 풍경(developmental landscape)을 비유로 삼아, 우리는 점점 더 제약되는 해 선택과 지속적인 투여량 순서 타이밍 변화의 이러한 결합을 그로킹 해 선택의 수로화(canalization)라고 부릅니다. 종합적으로 우리의 반응 맵과 손실 장벽 측정은 가시적 일반화 이전에 일어나는 동역학적 재조직화를 드러내며, 이는 안정적인 완만한 다양체(slow manifold)를 따라 움직이는 정규화 기반 이동이라는 이론적 묘사(Boursier et al., 2025)와 일치합니다.

arXiv:2609.26679v1cs.LG

그로킹의 스펙트럴 이론: 가중치 감쇠가 유도하는 특징 학습

A Spectral Theory of Grokking: Weight Decay induces Feature Learning

그로킹(grokking)에서는 학습 데이터에 대한 초기 적합이 일반화의 훨씬 늦은 개선과 분리된다. 이 지연 기간 동안 학습은 고정된 신경 접선 커널(NTK) 영역에서 과제 관련 커널 고유방향이 계속 진화하는 영역으로 이동할 수 있다. 우리는 lazy에서 rich 학습으로의 이러한 전환이 어떻게 지연된 일반화를 만들어낼 수 있는지에 대한 정량적 이론을 제공한다. 제곱 손실과 $L_2$ 가중치 감쇠로 학습된 동차(homogeneous) 네트워크에 대해, 암기(memorization) 이후에도 유한한 잔차가 남으며, 더 작은 NTK 고유값과 연관된 목표 성분에서는 더 큰 잔차 비율이 나타남을 보인다. 이 잔차들은 NTK 자체의 동역학에 되먹임되며, 결과 동역학을 과제 관련 스펙트럴 방향으로 투영하면 잔차가 주도하는 커널 성장과 가중치 감쇠가 경쟁하는 축약 시스템이 얻어진다. 이 시스템은 그로킹 시간 척도가 학습률과 가중치 감쇠의 곱에 의해 제어되며, 특징 학습이 임계 감쇠 근처에서 로그적으로 느려지고 그 이상에서는 과제 정렬 NTK 구조가 더 이상 일반화를 지탱할 수 없으며, 더 강한 감쇠가 적합(fitting) 자체를 막을 수 있음을 예측한다. 모듈러 덧셈(modular addition)에서 이러한 예측을 검증한다. 동차 MLP에서는 학습 정확도가 포화된 후에도 NTK에서 과제 정렬 푸리에 구조가 계속 출현하며, 다양한 학습률과 가중치 감쇠에 걸친 학습된 네트워크의 84$\times$90 격자가 예측된 위상(phase) 기하와 일반화 시간의 학습률·가중치 감쇠에 대한 역곱 스케일링을 재현한다. 1블록 트랜스포머는 정확한 동차성을 위반함에도 불구하고 42$\times$45 격자에서 유사한 거시적 위상 구조와 동일한 전환 시간 스케일링을 보인다. 종합하면, 이 결과들은 적합 이후 특징 학습을 일반화의 시작과 학습률·가중치 감쇠 평면에서의 위상 구조 모두와 연결하는 기계론적 유도를 제공한다.

arXiv:2607.23967v1cs.AI

가중치 감쇠 시계 위의 그로킹: 약하게 깨진 대칭성으로부터의 속도 계층

Grokking on the Weight-Decay Clock: A Rate Hierarchy from Softly Broken Symmetries

지연된 일반화, 즉 그로킹(grokking)은 광범위한 실증 연구에도 불구하고 여전히 잘 이해되지 않는다. 우리는 전체 배치 heavy-ball 최적화와 가중치 감쇠(weight decay)로 학습된 선형 모델에서 그로킹에 대한 정확히 풀 수 있는 후기 이완 메커니즘을, 비선형 신경망에 대한 국소적으로 이차적인 확장과 함께 밝힌다. 우리의 분석은 경험적 영공간(empirical null space)의 구별되는 population-active 성분을 드러내며, 이를 그로킹 부분공간(grokking subspace)이라 부른다. 이 부분공간을 따라 학습 예측은 변하지 않아 가중치 감쇠만이 유일한 복원력이 되며, 정확한 이산 시간 및 연속 시간 법칙에 의해 지배되는 느린 소산 이완이 발생한다. 우리는 오직 이 부분공간만이 모집단 위험(population risk)의 느린 점근적 감쇠에 기여함을 보이고, 그로킹 시간에 대한 명시적인 반복(iteration) 규모 예측을 유도하여, 약한 정규화(regularization) 영역에서 잘 알려진 $(1-β)/(ηλ)$ 스케일링을 복원한다. 이 이론은 결합된 $L_2$ 정규화와 분리된(decoupled) 가중치 감쇠를 구별하여 옵티마이저 선택의 뚜렷한 효과를 추가로 예측하고, 그로킹 성분을 수정하는 개입에 대한 인과적 예측을 제공한다. 우리는 모든 부분공간과 이완 속도가 폐형(closed form)으로 계산 가능한 합성 모델에서, 적합 파라미터 없이 모든 이론적 항등식을 검증한다. 우리는 모듈러 덧셈(modular addition)에서 실제 지연된 일반화를 추가로 관찰하며, 측정된 지연이 예측된 스케일링을 따르고 후기 이완이 이론적 시계와 밀접하게 일치함을 확인한다.

arXiv:2606.14954v4math.FA

데이터 과학에서의 표현 비용: 기초와 심층 신경망의 �asi-바나흐 공간

Representation Costs in Data Science: Foundations and the Quasi-Banach Spaces of Deep Neural Networks

우리는 데이터 적합(data-fitting) 방법에서 매개변수 공간 정규화(parameter-space regularizers)에 의해 유도되는 표현 비용(representation costs)을 분석하기 위한 일반적 프레임워크를 개발한다. 임의의 매개변수적 방법(parametric method)에 대해 표현 비용과 고유(native) 함수 공간(function space)을 정의하고, 존재성을 증명하며, 매개변수 공간 문제와 함수 공간 문제의 최솟값(infimal values)이 같고 최소화자(minimizers)가 서로 간에 전달(transfer)되는 조건을 규명한다. 이 프레임워크는 리프레젠터 정리(representer theorems)를 도출하고, 커널 방법과 RKHS, 웨이블릿(wavelets)과 Besov 공간, 얕은 신경망(shallow neural networks)과 변분 공간(variation spaces)을 포함한 고전적 공식화를 특수 경우로 복원한다. 우리의 주요 새로운 결과는 가중치 감쇠(weight-decay) 정규화를 적용한 깊이 $L$ 순전파 렐루(ReLU) 네트워크에 관한 것이다. 이러한 네트워크에 대해, 표현 비용이 �asi-반노름(quasi-seminorm)의 거듭제곱(power)임을 증명하고, 적절한 가설 하에서 고유 공간이 $L > 2$일 때 비볼록(nonconvex) 단위 공(unit ball)을 갖는 �asi-바나흐 공간(quasi-Banach space)임을 보인다. 이 결과들은 가중치 감쇠에 의해 유도되는 새로운 깊이 의존적(depth-dependent) �asi-바나흐 함수 공간 기하학(function-space geometry)을 밝힌다.

arXiv:2607.20552v1cs.LG

열역학적 가중치 감쇠: 어텐션 비열을 통한 그로킹 가속 탐구

Thermodynamic Weight Decay: Exploring Grokking Acceleration via Attention Specific Heat

그로킹 — 신경망이 학습 데이터를 암기한 뒤 한참 지나서야 일반화가 늦게 일어나는 현상 — 은 수천 에포크의 학습을 낭비하며 예측하기 어렵기로 악명 높다. 최근 트랜스포머 어텐션이 형식적으로 열역학적 시스템과 동형(isomorphic)이라는 결과를 바탕으로, 우리는 어텐션 로짓의 분산을 비열 Cv로 취급하고 그 피크가 일반화 전환을 안정적으로 앞선다는 것을 보인다. 우리는 CvAdamW를 제안한다. 이는 Cv를 온라인으로 모니터링하고 상전이(phase transition)가 감지되면 가중치 감쇠를 동적으로 조절하여 열 에너지를 주입하는 AdamW의 드롭인(drop-in) 변형이다. 엄격한 반복적 개발 과정을 통해 우리는 세 가지 실패 모드 — 초기화 노이즈, 미니배치 미세 요동(micro-ripples), 슬링샷(slingshot) 블라인딩 — 을 식별하고, 암기 게이트(memorization gate)와 지수 이동 평균(exponential-moving-average) 충격 흡수기로 이를 해결한다. 모듈러 산술(a+b mod 97)에서 CvAdamW는 4000 에포크 예산 내에서 기준선이 전혀 그로킹하지 못하는 조건에서 2802 에포크에 그로킹을 가능하게 한다. 또한 작업별 하이퍼파라미터를 제거하는 스케일 불변 z-점수 재공식화를 제안하고 10개의 쌍을 이룬 시드(seed)에 걸쳐 이를 평가한다. 쌍 분석(paired analysis)에 따르면 콜드스타트(cold-start) 변형은 평균 그로킹 지연(latency)을 257 에포크(6.0%; 중앙값 166 에포크; Wilcoxon p=0.049, Cohen's d=0.68, bootstrap 95% CI [53,489])만큼 줄이며 10개 시드 중 8개에서 개선된다. 이 단일 작업에서 Cv 피크는 10개 시드 모두에서 그로킹 이전에 나타난다. 우리 결과는 신경망이 임박한 일반화 전환의 탐지 가능한 전구(precursor)를 드러낼 수 있으며, 물리적으로 동기 부여된 비례적 개입이 고정된 연산 예산 내에서 일반화를 촉진할 수 있음을 시사한다. 코드와 데이터는 공개되어 있다.