최전선 모델의 구성 요소는 합산되는가? 소형 언어 모델에 대한 반복 요인 연구
Do Frontier Model Ingredients Add Up? A Replicated Factorial Study of Small Language Models
한국어 초록
소형 언어 모델을 구축하려면 공개된 개선 사항 중 어떤 것을 조합할지 선택해야 한다. 우리는 동일한 데이터와 학습 예산으로 같은 모델에서 다섯 가지 변경을 비교한다. 선택한 조합을 시험하고 각각을 두 번째 랜덤 시드로 반복한다. 전문가 혼합 레이어, Muon 최적화, Gated DeltaNet 하이브리드가 가장 큰 이득을 준다. 추가 정규화도 도움이 되는 반면, 파라미터 예산을 맞춘 어텐션 게이트는 평균적으로 거의 이득을 더하지 못한다. 이득은 대체로 결합되지만, 변경 사이의 작은 상호작용은 반복 실행에서도 다시 나타난다. 또한 반복을 통해 초기 통계 추정치가 잡음으로 취급했던 이점이 드러난다. 이러한 결과는 우리의 소형 모델 학습 설정에 적용되며, 전문가 모델은 총 용량도 더 크다. 실용적 교훈은 유망한 구성 요소를 함께 시험하고, 어떤 것을 유지할지 결정하기 전에 비교를 반복하라는 것이다.
원문 초록
Building a small language model requires choosing which published improvements to combine. We compare five changes in the same model, using the same data and training budget. We test selected combinations and repeat each one with a second random seed. Mixture-of-experts layers, Muon optimisation and a Gated DeltaNet hybrid give the largest gains. Extra normalisation also helps, while an attention gate with a matched parameter budget adds little on average. The gains mostly combine, but small interactions between changes appear again in the repeated runs. Repetition also reveals benefits that an initial statistical estimate treated as noise. These findings apply to our small-model training setting; the expert models also have greater total capacity. The practical lesson is to test promising components together and repeat the comparisons before deciding which ones to keep.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24540v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.