PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08511v1cs.LG

이질적 아키텍처 전반에 걸친 학습률 스케줄링 전략의 체계적 평가

Systematic Evaluation of Learning Rate Scheduling Strategies Across Heterogeneous Architectures

LEMUR 신경망 데이터셋의 합성곱·트랜스포머 계열 30개 아키텍처에 25가지 학습률 스케줄러 구성을 자동 소스 코드 주입 방식으로 적용해 총 3,938개의 모델 변형을 CIFAR-10에서 평가한 대규모 체계적 연구로, CosineAnnealingWarmRestarts와 CyclicLR이 기본 감쇠 전략보다 일관되게 우수했으며 최고 top-1 정확도 86.45%를 달성했다. 스케줄러 선택이 아키텍처 유형에 따라 크게 달라진다는 점을 실증적으로 보여주며, 결과 정확도 지형도를 LEMUR nn-dataset에 공개해 원칙적인 스케줄러 선택을 위한 실용적 참고 자료를 제공한다.

arXiv:2601.15212v2cs.LG

ZENITH: Automated Gradient Norm Informed Stochastic Optimization

ZENITH는 학습률(learning rate) 스케줄의 수동 조정 없이 그래디언트 노름(gradient norm)의 시간적 변화를 추적하여 학습률을 자동으로 조정하는 옵티마이저로, 슬라이딩 윈도우 기반의 롤링 평균과 역대 최대 노름 대비 현재 노름의 비율을 이용해 스케일 불변적이고 정규화와도 호환되는 학습률 적응 메커니즘을 제안한다. 6개의 CNN 아키텍처와 6개의 이미지 분류 벤치마크, MS COCO 검출·분할 과제에서 기존 방법 대비 짧은 학습 시간 내에 더 높은 성능을 달성하며 수렴 보장도 이론적으로 증명하였다.