arXiv 2603.15059
초록 정보가 없습니다.
이 이메일 도메인이 관측된 논문 2건
초록 정보가 없습니다.
Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate
샤프니스 인식 최소화(Sharpness-Aware Minimization, SAM) 알고리즘과 갭 가이드 SAM(gap guided SAM, GSAM)을 포함한 그 변형들은 학습(training) 중 경험적 손실(loss)의 평평한 국소 최소점(flat local minima)을 찾아 심층 신경망(deep neural network) 모델의 일반화 성능을 성공적으로 향상해 왔습니다. 한편, 배치(batch) 크기를 늘리거나 학습률(learning rate)을 감쇠시키면 경험적 손실의 가파른 국소 최소점(sharp local minima)을 피할 수 있다는 사실이 이론적 및 실증적으로 입증된 바 있습니다. 본 논문에서는 코사인 어닐링(cosine annealing)이나 선형 학습률과 같이 배치 크기를 늘리거나 학습률을 감쇠시키는 GSAM 알고리즘을 고려하고, 그 수렴(convergence)을 이론적으로 증명합니다. 나아가 배치 크기 증가를 적용한 SAM(GSAM)과 그렇지 않은 경우를 수치적으로 비교하여, 증가하는 배치 크기를 사용할 때 일정한 배치 크기 및 학습률을 사용하는 경우에 비해 더 낮은 최악 조건의 $\ell_\infty$ 적응형 샤프니스(adaptive sharpness)를 달성함을 보입니다.