Common Corpus: LLM 사전학습을 위한 윤리적 데이터의 최대 규모 컬렉션
Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training
대규모 언어 모델(LLM)은 다양한 출처와 도메인에서 수집된 방대한 양의 데이터로 사전학습(pre-training)됩니다. 이러한 데이터셋(dataset)은 종종 수조 개의 토큰을 포함하며, 상당 부분이 저작권으로 보호되거나 독점적인 콘텐츠로 구성되어 있어 해당 모델의 법적 사용에 대한 의문을 제기합니다. 이는 데이터 보안 및 보호 규정을 준수하는 진정한 개방형 사전학습 데이터의 필요성을 강조합니다. 본 논문에서는 LLM 사전학습을 위한 최대 규모의 공개 데이터셋인 Common Corpus를 소개합니다. Common Corpus에 수집된 데이터는 저작권이 없거나 오픈 라이선스 하에 있으며, 총 약 2조 개의 토큰에 달합니다. 이 데이터셋은 고자원 유럽 언어부터 사전학습 데이터셋에서 거의 다루어지지 않는 일부 저자원 언어에 이르기까지 매우 다양한 언어를 포함하고 있습니다. 또한 대량의 코드 데이터도 포함합니다. 포함된 도메인과 기간 측면에서 데이터 출처의 다양성은 다양한 지식 분야에 걸쳐 연구 및 창업 수요 모두를 위한 길을 열어줍니다. 본 논문에서는 데이터 수집의 상세한 출처와 데이터셋 필터링 및 큐레이션 세부 정보를 제시합니다. 우리는 Common Corpus로 두 개의 소형 언어 모델을 학습(training)시켰으며, 동일한 크기의 다른 모델들과 유사한 성능을 보임을 확인하여 본 데이터셋이 다국어 사전학습에 적합함을 입증했습니다. Common Corpus는 대규모 언어 모델에 관한 오픈 사이언스 연구 생태계에 중요한 기여를 제공합니다.