PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12332v1cs.LG

무한소 초기화 하에서 대각 선형 신경망의 그래디언트 흐름 역학과 암묵적 바이어스

Gradient Flow Dynamics and Implicit Bias of Diagonal Linear Networks under Infinitesimal Initialization

무한소 초기화 하에서 회귀 작업에 대한 대각 선형 신경망의 그래디언트 흐름 역학을 연구한다. Pesme & Flammarion (2023)의 정리 1을 확장하여, 분석을 심층 대각 선형 신경망과 더 넓은 범주의 2층 대각 선형 신경망(정의 4.1에 정의된 것) 모두에 대해 일반화한다. 구체적으로, 이러한 모델의 학습 궤적이 제안된 알고리즘 1에 의해 동등하게 특성화될 수 있음을 보인다. 나아가 이 알고리즘이 수정된 $ \mathcal{l}_1 $ 노름 최소화 문제의 해로 수렴함을 증명한다. 그 결과, 무한소 초기화 영역에서 두 신경망 구조 모두의 암묵적 바이어스가 수정된 $ \mathcal{l}_1 $ 노름에 해당함을 확립한다. 또한 구조적 불변 다양체(Structural Invariant Manifold, SIM)(Zhao et al., 2026)를 이러한 역학을 지배하는 핵심 기하 구조로 식별함으로써, 학습 과정을 형성하는 근본 메커니즘에 대한 통찰을 제공한다.

arXiv:2503.11891v2cs.LG

확률적 선명도 인식 최소화를 이용한 대각 선형 네트워크 학습

Training Diagonal Linear Networks with Stochastic Sharpness-Aware Minimization

우리는 학습 과정에서 네트워크 매개변수가 등방성 정규 노이즈로 교란되는 조건 하에, 선형 회귀 과제에서 대각 선형 네트워크의 지형(landscape)과 학습 역학을 분석한다. 이러한 노이즈 추가는 확률적 형태의 선명도 인식 최소화(SAM, Sharpness-Aware Minimization)로 해석될 수 있으며, 기반 지형과 학습 역학에 대한 SAM의 작용을 손실의 선명도와 연관짓는 여러 결과를 증명한다. 특히, 노이즈는 네트워크 매개변수에 분수 노름(fractional norm) 페널티의 가중 혼합을 유도하여, 개별 레이어들이 빠른 속도로 균형을 맞추도록 강제하고, 실제 매개변수에 적용된 축소-임계값 연산자(shrinkage-thresholding operator)로부터 도출된 해를 선호하도록 기반 지형을 변화시킨다. 레이어들의 균형화는 동일한 선형 예측기의 모든 가능한 인수분해 중에서 평균 선명도와 헤시안 행렬의 트레이스를 최소화하는 것과 동등함을 보인다. 더 나아가, 정규 교란의 노이즈 수준이 정규화 매개변수로 작용하는 방식을 특성화하며, 축소, 임계값 처리 및 균형화 속도에 대한 효과를 정확히 기술한다.

arXiv:2607.07884v1cs.LG

심층 스칼라 선형 네트워크에서 최적 학습률 스케일링은 데이터에 의존한다

Optimal Learning Rate Scaling Depends on Data in Deep Scalar Linear Networks

심층 스칼라 선형 네트워크 $f(x) = \prod_{l=1}^L w_l x$에서 최적의 깊이별 학습률 스케일링이 데이터에 의존하며, 데이터 비의존적 스케일링 규칙은 깊이 간 전이(transfer)에 실패함을 정확한 학습 동역학 해석을 통해 보인다. 데이터 의존적 최적 학습률 스케일링 하에서 학습 동역학은 데이터에 독립적이고 깊이에 약하게 의존하여 무한 깊이를 포함한 모든 깊이에서 일정한 선형 수렴률이 달성되며, 잔차 연결을 가진 네트워크에서도 동일한 효과가 확인된다.

arXiv:2602.20062v2cs.LG

A Theory of How Pretraining Shapes Inductive Bias in Fine-Tuning

Pretraining and fine-tuning are central stages in modern machine learning systems. In practice, feature learning plays an important role across both stages: deep neural networks learn a broad range of useful features during pretraining and further refine those features during fine-tuning. However, an end-to-end theoretical understanding of how choices of initialization impact the ability to reuse and refine features during fine-tuning has remained elusive. Here we develop an analytical theory of the pretraining fine-tuning pipeline in diagonal linear networks, deriving exact expressions for the generalization error as a function of initialization parameters and task statistics. We find that different initialization choices place the network into four distinct fine-tuning regimes that are distinguished by their ability to support feature learning and reuse and therefore by the task statistics for which they are beneficial. In particular, a smaller initialization scale in earlier layers enables the network to both reuse and refine its features, leading to superior generalization on fine-tuning tasks that rely on a subset of pretraining features. We demonstrate empirically that the same initialization parameters impact generalization in ResNets trained on CIFAR-100 and SVHN as well as Transformers trained on modular arithmetic tasks. Overall, our results demonstrate an alytically how data and network initialization interact to shape fine-tuning generalization, highlighting an important role for the relative scale of initialization across different layers in enabling continued feature learning during fine-tuning.

arXiv:2311.02960v5cs.LG공식 코드 · Papers with Code

Understanding Deep Representation Learning via Layerwise Feature Compression and Discrimination

Over the past decade, deep learning has proven to be a highly effective tool for learning meaningful features from raw data. However, it remains an open question how deep networks perform hierarchical feature learning across layers. In this work, we attempt to unveil this mystery by investigating the structures of intermediate features. Motivated by our empirical findings that linear layers mimic the roles of deep layers in nonlinear networks for feature learning, we explore how deep linear networks transform input data into output by investigating the output (i.e., features) of each layer after training in the context of multi-class classification problems. Toward this goal, we first define metrics to measure within-class compression and between-class discrimination of intermediate features, respectively. Through theoretical analysis of these two metrics, we show that the evolution of features follows a simple and quantitative pattern from shallow to deep layers when the input data is nearly orthogonal and the network weights are minimum-norm, balanced, and approximate low-rank: Each layer of the linear network progressively compresses within-class features at a geometric rate and discriminates between-class features at a linear rate with respect to the number of layers that data have passed through. To the best of our knowledge, this is the first quantitative characterization of feature evolution in hierarchical representations of deep linear networks. Empirically, our extensive experiments not only validate our theoretical results numerically but also reveal a similar pattern in deep nonlinear networks which aligns well with recent empirical studies. Moreover, we demonstrate the practical implications of our results in transfer learning. Our code is available at https://github.com/Heimine/PNC_DLN.