PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.10545v2cs.LG

$μ$pscaling small models: Principled warm starts and hyperparameter transfer

μP(Maximal Update Parametrization)에 착안하여, 사전학습된 소형 모델의 가중치를 복사·교란해 대형 모델을 초기화하는 이론적으로 정립된 너비 기반 업스케일링(upscaling) 방법론을 제안하며, 동적 동치(dynamic equivalence) 이론을 통해 업스케일된 모델 전반에 걸쳐 하이퍼파라미터 전이(hyperparameter transfer)가 가능함을 증명한다. 이를 통해 소형 업스케일 모델에서 튜닝한 최적 하이퍼파라미터를 대규모 업스케일링에 제로샷으로 적용할 수 있으며, MLP, ResNet, GPT-2 등 다양한 아키텍처에서 실험적으로 그 효과를 입증하였다.

arXiv:2606.25927v1stat.ME

Knowledge Cascade: Reverse Knowledge Distillation on Nonparametric Multivariate Functional Estimation

Knowledge Cascade(KCas)는 작고 저비용인 student 모델에서 얻은 정보를 teacher 모델 학습에 되돌려 전달하는 역방향 지식 증류 프레임워크로, RKHS 기반 smoothing spline의 다중 평활화 파라미터 선택 병목을 부분표본 학습과 점근적 스케일링 전이로 완화한다. 커널 밀도 추정과 딥러닝 하이퍼파라미터 전이로도 확장했으며, 시뮬레이션과 실데이터 실험에서 계산 비용을 크게 줄이면서 통계 성능을 유지하거나 때로는 전체 표본 튜닝보다 더 나은 결과를 보였다.