PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30226v1cs.LG

헤시안 고유벡터 변위 및 국소화를 통한 옵티마이저 의존적 학습 동역학 특성 분석

Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

헤시안 고유벡터의 변위(displacement)와 역참여율(Inverse Participation Ratio)을 통해 SGD와 Adam의 학습 동역학 차이를 분석한 결과, SGD는 상위 곡률 방향이 점진적으로 안정화되는 반면 Adam은 학습 전반에 걸쳐 고유벡터가 지속적으로 재조직화되고 소수 파라미터에 곡률이 집중되는 국소화 현상을 보임을 확인하였다.