허브 또는 주변부: 웹 그래프 중심성을 통한 사전학습 데이터 선택
Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality
현대 언어 모델의 성능은 사전학습 데이터 구성에 크게 좌우됩니다. 그러나 기존 데이터 선택 방법은 문서 점수 매기기나 혼합 최적화를 위해 보조 분류기에 의존하여, 계산 오버헤드와 레이블된 데이터에 대한 의존성을 증가시킵니다. 우리는 Common Crawl 호스트 수준 웹 그래프에 대한 구조적 중심성 점수를 계산하고, 이를 사용하여 사전학습 혼합 데이터 내 중심부 문서와 주변부 문서의 비율을 조절하는 경량 데이터 선택 프레임워크인 WebGraphMix를 제안합니다. 우리는 중심부 호스트가 모델에 재사용 가능한 추상화를 제공하는 반면, 주변부 호스트는 전문화된 롱테일 지식을 인코딩한다고 가정합니다. WebGraphMix는 모델 학습, 레이블된 데이터, 또는 다운스트림 감독 없이 웹 규모에서 중심성 점수를 효율적으로 계산합니다. 우리는 WebGraphMix를 DataComp-LM 파이프라인에 통합하고 각각 80억(8B) 및 280억(28B) 토큰으로 4억(400M) 및 10억(1B) 매개변수 규모의 모델을 학습시켜, 사실적 지식부터 기호적 추론에 이르는 23개 작업에서 평가했습니다. 실험 결과, 중심부 및 주변부 웹 영역은 상호 보완적인 능력을 인코딩함을 보여줍니다. 둘을 1:1 비율로 결합한 혼합 데이터는 평균 41.4%를 달성하여, 균일 샘플링(uniform sampling)의 39.8%보다 높은 성능을 보였습니다. 구조적 점수에 문서 수준 품질 분류기 점수를 결합하면 성능이 43.8%로 더욱 향상됩니다. 이러한 발견은 웹 그래프 토폴로지(topology)가 사전학습 데이터 큐레이션(curation)을 위한 의미 있는 축이며, 기존 콘텐츠 기반 접근 방식과 대체로 직교하는 정보를 포착함을 입증합니다.