arXiv:2611.01929v2 cs.LG

발밑을 조심하라: Adam의 마진 최대화 편향은 학습률 스케줄에 좌우된다

Watch Your Step: Adam's Margin Maximization Bias Depends on the Learning Rate Schedule

Eitan Gronich, Gal Vardi

제출 2026-11-03

한국어 초록

우리는 이진 분류 과제의 동차 모델에서 Adam의 암묵적 편향과 부호 경사 하강법과의 유사성을 연구한다. 놀랍게도 이들이 학습률 스케줄에 의존함을 밝힌다. 기존 연구들은 $L$이 동차 차수일 때 강하게 감쇠하는 학습률 스케줄 $\eta(t)=\mathrm o \left(t^{1/L-1}\right)$을 연구하여 $\ell_\infty$ 마진 최대화 편향을 보였으나, 우리는 상수 및 약하게 감쇠하는 스케줄을 포함하는 더 일반적인 상보적 영역에 집중한다. 다항 스케줄 $t^{\alpha}$와 동차 차수 $L$에 대해, $\alpha > \frac 1L - \frac12$일 때 Adam은 심층 선형 네트워크에서 (KKT 의미에서) 궤적에 무관한 마진 최대화 편향을 갖지 않음을 보인다. 첫째, 이 설정에는 제곱 노름을 포함하여 자명하지 않고 국소적으로 립시츠이며 볼록한 암묵적 정규화항이 존재하지 않는다. 둘째, 너비가 1인 네트워크에서는 볼록성을 요구하지 않고도 결과가 성립하며, 이는 넓은 네트워크의 모든 암묵적 정규화항이 너비 1 네트워크로 제한될 때 자명해야 함을 의미한다. 그럼에도 우리는 이 영역에서의 암묵적 편향을 임의의 $L$-동차 모델에 대해 궤적에 의존하는 가중 $\ell_2$ 마진을 최대화하는 것으로 긍정적으로 규명한다. 결과의 근본 메커니즘은 Adam의 전처리기가 궤적에 의존하는 벡터로 수렴하는 것이며, 이로부터 극한 매개변수 방향이 초기화에 의존함도 보일 수 있다. 중간 영역 $\frac 1L - 1 \leq \alpha \leq \frac1L - \frac12$에서는 경사 방향이 전체 지지 벡터로 수렴한다는 조건 하에 $\ell_\infty$ 편향을 증명한다. 독립적으로 흥미로운 결과로, 일반 동차 모델에 대한 전체 배치 Adam의 손실 감소율을 확립하며, 그 선두 차수는 2차 모멘트 매개변수에만 의존한다.

원문 초록

We study the implicit bias of Adam and its similarity to sign gradient descent on homogeneous models in binary classification tasks. Perhaps surprisingly, we uncover that these depend on the learning rate schedule. While previous works studied strongly decaying learning rate schedules $\eta(t)=\mathrm o \left(t^{1/L-1}\right)$, where $L$ is the homogeneity degree, and showed $\ell_\infty$-margin-maximization biases, we focus on the more common complementary regime, including constant and weakly decaying schedules. For a polynomial schedule $t^{\alpha}$ and homogeneity degree $L$, we show that when $\alpha > \frac 1L - \frac12$, Adam has no trajectory-independent margin-maximization bias for deep linear networks (in the KKT sense): first, there is no non-trivial, locally Lipschitz, convex implicit regularizer in this setting, including any squared norm. Second, on width-$1$ networks, the result holds without requiring convexity, implying that any implicit regularizer for wide networks must be trivial when restricted to a width-$1$ network. Nevertheless, we positively characterize the implicit bias in this regime as maximizing a trajectory-dependent weighted-$\ell_2$ margin for any $L$-homogeneous model. The fundamental mechanism behind our results is convergence of Adam's preconditioner to a trajectory-dependent vector, which also allows showing that the limiting parameter direction depends on initialization. In the intermediate regime $\frac 1L - 1 \leq \alpha \leq \frac1L - \frac12$ we prove an $\ell_\infty$ bias, conditional on gradient directional convergence to a full-support vector. Of independent interest, we establish a loss decay rate for full batch Adam on general homogeneous models, whose leading order depends only on the second-moment parameter.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.01929v2제출 시각 미확인
  2. arXiv:2611.01929v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.