사전학습 데이터 구성을 통한 스케일링 법칙 설계를 향하여
Towards Engineering Scaling Laws with Pretraining Data Composition
신경망 스케일링 법칙은 연산량, 모델 크기, 데이터셋 크기에 따라 모델 성능이 멱법칙으로 어떻게 향상되는지 설명합니다. 대규모 언어 모델(LLM)에서는 잘 정립되어 있지만, 입자 물리학의 대규모 모델에서는 이러한 관계가 등장하고 있습니다. 언어의 경우와 마찬가지로, 실증적 연구는 성능이 멱법칙으로 스케일링됨을 보여줍니다. 그러나 자연어나 이미지 도메인과 달리, 기초 물리학은 합성 데이터를 저렴하게 생성할 수 있는 고충실도 시뮬레이터를 보유하고 있습니다. 이는 추가 파라미터보다 추가 데이터가 더 저렴한 스케일링 체제를 선호하게 하며, 스케일링에 영향을 미치도록 사전학습 데이터셋 자체를 설계할 수 있게 합니다. 고에너지 입자 빔 충돌에서 생성되는 하드론 제트를 분류하는 작업에 대해, 우리는 다운스트림 분류 작업과 더 잘 정렬되고 더 다양한 사전학습 데이터를 포함함으로써, 더 큰 모델보다 더 많은 데이터를 요구하는 쪽으로 스케일링 거동을 설계할 수 있음을 보여줍니다.