PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.15212v2cs.LG

ZENITH: Automated Gradient Norm Informed Stochastic Optimization

ZENITH는 학습률(learning rate) 스케줄의 수동 조정 없이 그래디언트 노름(gradient norm)의 시간적 변화를 추적하여 학습률을 자동으로 조정하는 옵티마이저로, 슬라이딩 윈도우 기반의 롤링 평균과 역대 최대 노름 대비 현재 노름의 비율을 이용해 스케일 불변적이고 정규화와도 호환되는 학습률 적응 메커니즘을 제안한다. 6개의 CNN 아키텍처와 6개의 이미지 분류 벤치마크, MS COCO 검출·분할 과제에서 기존 방법 대비 짧은 학습 시간 내에 더 높은 성능을 달성하며 수렴 보장도 이론적으로 증명하였다.