대규모 언어 모델(LLM)은 다양한 출처와 도메인에서 수집된 방대한 양의 데이터로 사전학습(pre-training)됩니다. 이러한 데이터셋(dataset)은 종종 수조 개의 토큰을 포함하며, 상당 부분이 저작권으로 보호되거나 독점적인 콘텐츠로 구성되어 있어 해당 모델의 법적 사용에 대한 의문을 제기합니다. 이는 데이터 보안 및 보호 규정을 준수하는 진정한 개방형 사전학습 데이터의 필요성을 강조합니다. 본 논문에서는 LLM 사전학습을 위한 최대 규모의 공개 데이터셋인 Common Corpus를 소개합니다. Common Corpus에 수집된 데이터는 저작권이 없거나 오픈 라이선스 하에 있으며, 총 약 2조 개의 토큰에 달합니다. 이 데이터셋은 고자원 유럽 언어부터 사전학습 데이터셋에서 거의 다루어지지 않는 일부 저자원 언어에 이르기까지 매우 다양한 언어를 포함하고 있습니다. 또한 대량의 코드 데이터도 포함합니다. 포함된 도메인과 기간 측면에서 데이터 출처의 다양성은 다양한 지식 분야에 걸쳐 연구 및 창업 수요 모두를 위한 길을 열어줍니다. 본 논문에서는 데이터 수집의 상세한 출처와 데이터셋 필터링 및 큐레이션 세부 정보를 제시합니다. 우리는 Common Corpus로 두 개의 소형 언어 모델을 학습(training)시켰으며, 동일한 크기의 다른 모델들과 유사한 성능을 보임을 확인하여 본 데이터셋이 다국어 사전학습에 적합함을 입증했습니다. Common Corpus는 대규모 언어 모델에 관한 오픈 사이언스 연구 생태계에 중요한 기여를 제공합니다.
언어 모델의 문화적 평가 커버리지와 견고성(robustness)은 사전학습 코퍼스와 문화 벤치마크가 비교 가능한 메타데이터로 거의 색인되지 않아 진단하기 어렵다. 벤치마크는 점점 언어, 지역, 로케일별 관행 수준의 문화적으로 맥락화된 현상을 대상으로 하는 반면, 웹 규모 코퍼스는 보통 언어로만 구성된다. 공유 문화-언어-지역 층은 이러한 자원을 비교 가능하게 하여, 대상 문화적 현상이 사전학습 데이터에 반영되는지, 벤치마크로 평가되는지, 또는 둘 다인지에 대한 감사(auditing)를 가능하게 한다. 이를 위해 FineWeb과 FineWeb-2에서 파생된 대규모 주석 데이터셋인 FineWeb-CLaR을 제안한다. FineWeb-CLaR은 코퍼스 감사 및 벤치마크 정렬을 위해 웹 문서를 공유 문화-언어-지역 축에 배치한다. FineWeb-CLaR은 URL에서 유도한 지역 레이블과 문화 주제 출처(provenance)로 FineWeb 및 FineWeb-2의 전체 30.9B개 문서 컬렉션에 어노테이션한다. 우리의 지역 해석기(region resolver)는 문서의 25.61%(7.92B)에 비어 있지 않은 지역을 할당한다. 문화 주제 분석을 위해 로케일별 주제를 유도하고 Liu et al. (2025)의 Cultural Taxonomy 14개 리프에 투영하여 코퍼스 측 비교를 위한 Locale Topic Distributions(LTD)를 생성한다. 또한 277개의 문화 NLP 벤치마크에 동일한 분류 체계, 언어 커버리지, 지역 커버리지로 어노테이션한다. 이 자원들을 함께하면 코퍼스 측 사전학습 근거와 벤치마크 측 평가 커버리지 간의 직접 비교가 가능하다.
사전학습 데이터 처리는 대규모 언어 모델(LLM)의 하류 성능에 매우 중요하다. 그러나 기존의 많은 접근법은 코퍼스 또는 도메인 수준에서 고정된 처리 전략을 정의하고, 각 예제의 필요에 맞게 적응하지 않은 채 많은 예제에 균일하게 적용한다. 우리는 다양한 처리 연산을 통합하고 각 예제에 대해 예제별 파이프라인을 오케스트레이션하는 프레임워크인 DataOrchestra를 제안한다. 사전학습 데이터의 청크가 주어지면, 오케스트레이터는 이를 삭제(drop), 그대로 두거나(untouch), 정제(clean)할지 결정한다. 정제 대상 청크에 대해서는 프로그래밍 기반 편집부터 다양한 형태의 LLM 기반 재작성까지, 하나 이상의 하류 연산을 선택한다. 각 재작성 단계마다 구체적인 인스트럭션을 추가로 생성하며, 이는 해당 하류 도구 모델이 실행한다. DataOrchestra로 처리한 웹 데이터로 0.5B부터 7B까지의 모델을 처음부터 사전학습하고, 11개 벤치마크에서 개별 데이터 처리 방법 대비 안정적인 평균 성능 향상을 관찰한다. DataOrchestra는 수학 연속 사전학습(continued pretraining)에도 효과적이며, 더 강한 처리 베이스라인을 능가하면서 불필요한 하류 연산을 건너뛰어 처리 연산량을 줄인다.
FineWeb-Edu, DCLM과 같이 고도로 선별적인 필터를 통해 큐레이션된 오픈 웹 코퍼스는 대규모 언어 모델(LLM) 사전학습 데이터의 핵심을 구성하며 LLM 성능을 크게 향상시켜 왔다. 그러나 이러한 파이프라인은 일반적으로 단일 최적화 목표에 의존하며, 이는 필연적으로 분포적 다양성을 좁히고 롱테일 지식을 소외시켜 데이터 커버리지를 제한하고 오픈 웹의 광범위한 잠재력을 충분히 활용하지 못하게 한다. 이 한계를 해결하기 위해, 우리는 선형 가지치기에서 품질, 중복, 다양성의 공동 최적화로 전환하는 새로운 큐레이션 패러다임을 제안한다. 이 프레임워크는 이중 트랙 정제(규칙 기반 및 모델 기반)와 하이브리드 중복 제거(n-gram 및 의미적)를 결합하고, 다목적 샘플러를 사용하여 정보적 품질과 분포적 폭을 균형 있게 조절한다. Common Crawl에 이 프레임워크를 적용하여 2T 토큰 규모의 영어 코퍼스인 CuraWeb을 구축한다. 기존 자원과 달리 CuraWeb은 향상된 다양성과 최소한의 중복으로 보다 전체적인 데이터 분포를 복원함으로써 산업 수준의 데이터 큐레이션 표준을 확립하고, 다양한 도메인에 걸쳐 롱테일 지식의 더 넓은 커버리지를 달성한다. 3B 규모에서의 실험적 평가는 CuraWeb이 최신 베이스라인을 크게 능가하며, 특히 지식 집약적 및 추론 과제에서 광범위한 벤치마크 전반에 걸쳐 평균 1.8%의 성능 향상을 달성함을 보여준다.