PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13524v1cs.LG

층별 랜덤 특징 모델을 통한 심층 신경망의 학습 스파이크 시뮬레이션

Simulating Training Spikes of Deep Neural Networks by Layer-wise Random Feature Models

대규모 언어 모델(LLM)의 사전학습 과정에서 발생하는 간헐적인 손실(loss) '스파이크'는 이론적으로나 실증적으로 여전히 규명되지 않은 현상으로 남아 있습니다. 본 논문에서는 꼬리가 두꺼운 거듭제곱 법칙(power-law) 분포를 따르는 입력을 갖는 단순한 이차(quadratic) 모델이 이러한 스파이크를 재현할 수 있음을 보여줍니다. 저자들은 이러한 이차 모델을 사용하여 심층 신경망(DNN)의 층별 학습 역학을 모델링하는 이론적 프레임워크와 시뮬레이션 알고리즘을 제안합니다. 트랜스포머 언어 모델에서 스파이크를 유발하는 것으로 알려진 Adam 하이퍼파라미터 설정($β_2$를 1에 가깝게 설정)에 대한 사례 연구에서, 제안된 시뮬레이션은 주어진 체크포인트로부터 스파이크 거동을 나타내는 돌출(bump)을 성공적으로 예측합니다. 나아가 관측된 지표로부터 적절한 $β_2$ 스케줄을 도출하였으며, 이는 실증적으로 성능을 향상시킵니다.