PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.07488v3cs.LG

자연어 통계로부터 신경망 스케일링 법칙 도출

Deriving Neural Scaling Laws from the statistics of natural language

자연어의 통계적 특성으로부터 신경망 스케일링 법칙(neural scaling laws)의 지수를 정량적으로 예측하는 최초의 이론을 제시하며, 토큰 쌍 간 상관관계의 시간적 감쇠 지수 β와 조건부 엔트로피의 컨텍스트 길이 감쇠 지수 γ만으로 α_D = γ/(2β)라는 공식을 도출한다. 이 이론은 TinyStories와 WikiText 데이터셋에서 GPT-2 및 LLaMA 스타일 모델을 학습시킨 실험 결과와 자유 매개변수 없이 놀라운 일치를 보인다.

arXiv:2606.24504v1cs.AI

On the Smallness of the Large Language Models Scaling Exponents

We discuss reasons why the scaling exponents of current Large Language Models (LLMs) applications are indicating an unsustainable regime in terms of energy resources. We further show that attributing the smallness of such exponents to a numerical bias due to the neglect of a non-zero value of the loss function in the limit of infinite data (``pedestal effect") does not remove the unsustainability issue. Finally, the effects of the smoothness (roughness) of the data on the scaling exponents is commented upon based on an analogy with phenomenological models of fluid turbulence.