재캡션된 이미지-텍스트 코퍼스는 이제 텍스트-투-이미지(T2I) 학습의 표준이 되었으며, 비전-언어 모델(VLM) 캡셔너가 희소한 대체 텍스트(alt-text)를 밀도 높은 설명으로 대체하고 있다. 재캡션된 코퍼스는 문서화된 캡셔닝 정책($π$), 캡셔너($V_c$), 소스 코퍼스($C$)에 의해 유도된 감독 분포(supervision distribution)이다. 길이 상관 프록시(proxy)는 캡션 문체(register) 관련 아티팩트를 포착하지 못하고, 하류(downstream) T2I 벤치마크는 코퍼스를 학습 선택지와 뒤섞어버리기(entangle) 때문에, 이 분포는 코퍼스 규모에서 감사하기가 어렵다. 본 논문은 재캡션된 감독 분포 $D_{π,V_c,C}$에 대해 재사용 가능한 매칭 예산 감사 프레임워크를 제안한다. 이 프레임워크는 $B = 64$로 고정된 텍스트 예산에서 프롬프트 측 커버리지, 이미지 조건부 충실도, 캡션 표면 건강성(surface health)에 걸친 5축 프로파일을 보고하며, 주장된 통제 가능 기본 단위(controllable basic unit, CBU)를 공통 주장 단위로 사용한다. 우리는 5개의 공개 소스 코퍼스에 대한 7개의 짝지어진 비교를 통해 이 프레임워크를 구체화한다. 4개의 교차 코퍼스 쌍 전반에서, 공개된 표면(surface)은 Qwen과 Gemma 판정자(Judge) 모두에서 캡션당 지지되는 CBU를 $+3.39$에서 $+6.36$까지 끌어올리며, CC12M에서는 동일한 프레임워크가 두 판정자와 네 가지 예산 전반에서 일관되게 나타나는 긴/밀집(long-vs-dense) 프런티어를 드러낸다. 우리는 감사된 다중 소스 재캡션 코퍼스(약 4억 9천만 개)를 감사 아티팩트 번들과 함께 공개한다.
대규모 언어 모델(LLM)은 추론 강화 미세조정을 통해 Text-to-SQL에서 눈에 띄는 진전을 이뤘지만, 기존 접근법은 대체로 규모가 성능을 이끈다는 가정 아래 방대한 지시 코퍼스에 의존한다. 우리는 효과적인 Text-to-SQL 지시 미세조정을 위해 필요한 최소 데이터 요구량이 무엇인지라는 근본적 질문을 조사함으로써 이러한 패러다임에 도전한다. 우리는 LIMIT(Less Is More for Instruction Tuning in Text-to-SQL)를 제안한다. 이는 예시를 전략적으로 선별할 때 극도로 소규모인 학습 집합만으로도 강력한 데이터베이스 추론이 창발할 수 있음을 보여 주는 데이터 중심 프레임워크이다. LIMIT는 네 단계로 동작한다: 모델의 학습 프런티어(learning frontier) 내 샘플을 식별하는 난이도 인식 필터링, 일관성 기반 선별과 함께하는 사고의 연쇄(Chain-of-Thought) 합성, LLM-as-judge를 통한 다차원 품질 점수화, 스키마 커버리지와 샘플 품질을 공동으로 극대화하는 유전 알고리즘 최적화. BIRD 및 Spider 벤치마크에서 LIMIT는 각각 796개와 863개 샘플만 선별하면서 100% 테이블 커버리지를 달성하여 Qwen3-8B가 실행 정확도(execution accuracy) 69.1%와 88.9%에 이른다. 이 결과는 20배 더 많은 데이터로 학습한 방법을 능가하며 오픈소스 접근법 가운데 새로운 최첨단(state-of-the-art)을 세운다. 우리의 발견은 규모보다는 신중한 데이터 큐레이션이 효율적인 Text-to-SQL 학습의 핵심임을 시사한다.
학습(training) 데이터를 큐레이션하는 작업은 현대 AI 개발에서 가장 중대하면서도 노동 집약적인 과정 중 하나입니다. 실무자들은 노이즈가 있는 벤치마크(benchmark) 피드백에 맞춰 데이터 정책을 반복적으로 제안, 구현, 평가, 수정합니다. 본 논문에서는 범용 코딩 에이전트(agent)가 이러한 데이터 큐레이션 루프를 자동화할 수 있는지 묻습니다. 우리는 모델(model), 학습 레시피, 평가 스위트를 고정하는 동시에, 에이전트에게 데이터를 검토하고 정책을 구현하며 고정된 학습/평가 파이프라인에 제출하고 수정할 수 있는 커맨드라인 접근 권한을 부여하는 에이전트 중심의 벤치마크인 Curation-Bench를 소개합니다. 비전-언어(vision-language) 인스트럭션 튜닝(instruction tuning) 환경에서, 별도의 튜닝 없는(out-of-the-box) 에이전트는 10회의 반복(iteration) 내에 이미 발표된 강력한 데이터 선택 베이스라인 수준에 도달합니다. 그러나 궤적 분석 결과 지속적인 '실행-연구 격차(execution-research gap)'가 드러났습니다. 에이전트는 전략 가이드와 논문 레퍼런스가 주어지더라도 새로운 정책 계열을 탐험(exploration)하기보다는 주로 국소적인 정책 변형만을 튜닝합니다. 각 반복마다 이전 방법을 인용, 인스턴스화, 적용하도록 요구하는 스캐폴드(scaffold)는 에이전트를 방법론 기반의 탐험으로 유도합니다. 스캐폴드가 적용된 에이전트는 인간의 설계 개입 없이도 기존 데이터 예산의 10분의 1 수준으로 발표된 강력한 베이스라인을 능가하는 데이터 선택 정책을 자율적으로 구성합니다. 전반적으로 현재의 에이전트는 큐레이션 루프를 실행할 수 있으나, 신뢰할 수 있는 데이터 연구를 위해서는 개방형 프롬프트(prompt) 작성뿐만 아니라 스캐폴딩된 방법론 적응이 필요합니다. 코드와 벤치마크는 오픈소스로 공개되어 있습니다.
사전학습 데이터 처리는 대규모 언어 모델(LLM)의 하류 성능에 매우 중요하다. 그러나 기존의 많은 접근법은 코퍼스 또는 도메인 수준에서 고정된 처리 전략을 정의하고, 각 예제의 필요에 맞게 적응하지 않은 채 많은 예제에 균일하게 적용한다. 우리는 다양한 처리 연산을 통합하고 각 예제에 대해 예제별 파이프라인을 오케스트레이션하는 프레임워크인 DataOrchestra를 제안한다. 사전학습 데이터의 청크가 주어지면, 오케스트레이터는 이를 삭제(drop), 그대로 두거나(untouch), 정제(clean)할지 결정한다. 정제 대상 청크에 대해서는 프로그래밍 기반 편집부터 다양한 형태의 LLM 기반 재작성까지, 하나 이상의 하류 연산을 선택한다. 각 재작성 단계마다 구체적인 인스트럭션을 추가로 생성하며, 이는 해당 하류 도구 모델이 실행한다. DataOrchestra로 처리한 웹 데이터로 0.5B부터 7B까지의 모델을 처음부터 사전학습하고, 11개 벤치마크에서 개별 데이터 처리 방법 대비 안정적인 평균 성능 향상을 관찰한다. DataOrchestra는 수학 연속 사전학습(continued pretraining)에도 효과적이며, 더 강한 처리 베이스라인을 능가하면서 불필요한 하류 연산을 건너뛰어 처리 연산량을 줄인다.
비전-언어 모델(VLM)의 데이터 큐레이션(data curation)은 점점 활발해지고 있지만, 사전학습 혼합(mixture) 구성에 대한 공개된 관행은 여전히 대체로 휴리스틱(heuristic)에 의존한다. 실무자들은 품질 필터를 통과한 데이터셋을 쌓아 올리고, 도메인 간 비율은 직관에 따라 설정하며, 새로운 데이터를 편입할 원칙적이고 귀속 가능(attributable)한 기준을 갖추지 못한 채 최첨단 레시피는 공개되지 않은 상태로 남아 있다. 우리는 데이터 구성을 체계적인 혼합 최적화(mixture-optimization) 문제로 공식화하고, 혼합을 두 개의 직교(orthogonal) 하위 문제—역량(capability) 간 클래스 간(inter-class) 비율과 카테고리 내 클래스 내(intra-class) 비율—로 분리함으로써 이를 재현 가능한 엔지니어링 절차로 전환한다. 클래스 간 할당에는 단일 변수 반복 탐색을 사용하고, 클래스 내 구성에는 다차원의 데이터셋 수준 평가로 품질(Quality)과 난이도(Difficulty)를 점수화한 뒤, 다양성(diversity) 목표를 갖춘 제약 볼록 최적화(constrained convex optimization)로 선택 문제를 공식화한다. DecoupleMix 프레임워크는 두 가지 핵심 기능을 제공한다: 다음에 수집할 데이터를 안내하고, 데이터셋 검증을 통제 가능하고 귀속 가능한 실험으로 만든다. 실험 결과, 우리 접근법은 휴리스틱 기준선(baseline)을 일관되게 능가한다. 더 나아가, 소규모 프록시(proxy)에서 발견한 최적 비율은 재조정(retuning) 없이 더 큰 규모로 원활히 이전(transfer)된다. 800억(80B) 개의 추가 멀티모달 지속 사전학습(continue-pretraining) 토큰을 사용하여, 우리 VLM은 훨씬 더 큰 멀티모달 예산으로 학습된 강력한 오픈소스 모델과 경쟁력 있는 성능을 보인다.
배포된 AI 시스템은 종종 넓은 후보 데이터 풀에서 학습되므로, 배포 테스트 분포를 향한 데이터 큐레이션이 필요하다. 그러나 표준 데이터 큐레이션 방법은 배포 일치를 직접 최적화하기보다 학습 측 기준을 점수화한다. 우리는 TTCov(Test-Time Coverage)를 제안한다. 이는 추론 시 모델 가중치를 갱신하는 대신 학습 전에 테스트 측 정보를 사용하는 데이터 수준의 테스트 조건 큐레이션 방법이다. TTCov는 배포 조건 큐레이션을 커버리지(coverage)와 분포(distribution)로 분해한다. 커버리지를 표현하기 위해, TTCov는 task Atlas를 구축한다. 이는 배포 관련 개념을 기술하는 LLM 기반 원자 명제(atomic propositions, APs)의 모음으로, 공개 태스크 지식에서 시드(seed)하고 레이블 없는 배포 샘플에서 추출한 매칭되지 않은 AP로 확장한다. 분포를 표현하기 위해, 매칭된 배포 AP를 빈도와 함께 구체화하여 Knowledge Atlas(K-Atlas)를 생성한다. 이는 배포 분포를 큐레이션 목표로 구체화한다. TTCov는 이 목표에 근사하는 배포 AP 분포를 갖는 예산 제한 학습 집합을 선택한다. 우리는 TTCov를 자율주행(AD)에 적용하여, 추론 경로에서 적응을 배제한 채 데이터 큐레이션 베이스라인보다 더 큰 배포 관련 커버리지, 더 가까운 K-Atlas 매칭, 더 강한 하류 end-to-end 주행 성능을 갖는 데이터를 선택한다. 여기에는 도시 간 확장을 통한 새로운 도메인으로의 원활한 적응성도 포함된다.
FineWeb-Edu, DCLM과 같이 고도로 선별적인 필터를 통해 큐레이션된 오픈 웹 코퍼스는 대규모 언어 모델(LLM) 사전학습 데이터의 핵심을 구성하며 LLM 성능을 크게 향상시켜 왔다. 그러나 이러한 파이프라인은 일반적으로 단일 최적화 목표에 의존하며, 이는 필연적으로 분포적 다양성을 좁히고 롱테일 지식을 소외시켜 데이터 커버리지를 제한하고 오픈 웹의 광범위한 잠재력을 충분히 활용하지 못하게 한다. 이 한계를 해결하기 위해, 우리는 선형 가지치기에서 품질, 중복, 다양성의 공동 최적화로 전환하는 새로운 큐레이션 패러다임을 제안한다. 이 프레임워크는 이중 트랙 정제(규칙 기반 및 모델 기반)와 하이브리드 중복 제거(n-gram 및 의미적)를 결합하고, 다목적 샘플러를 사용하여 정보적 품질과 분포적 폭을 균형 있게 조절한다. Common Crawl에 이 프레임워크를 적용하여 2T 토큰 규모의 영어 코퍼스인 CuraWeb을 구축한다. 기존 자원과 달리 CuraWeb은 향상된 다양성과 최소한의 중복으로 보다 전체적인 데이터 분포를 복원함으로써 산업 수준의 데이터 큐레이션 표준을 확립하고, 다양한 도메인에 걸쳐 롱테일 지식의 더 넓은 커버리지를 달성한다. 3B 규모에서의 실험적 평가는 CuraWeb이 최신 베이스라인을 크게 능가하며, 특히 지식 집약적 및 추론 과제에서 광범위한 벤치마크 전반에 걸쳐 평균 1.8%의 성능 향상을 달성함을 보여준다.
공개 배터리 노화 데이터셋은 고급 상태 관리를 위한 핵심 자산이지만, 일관성 없는 형식, 불명확한 스키마, 저장소와 논문 전반에 분산된 메타데이터로 인해 실제 활용이 제한되는 경우가 많다. 현재의 큐레이션은 대부분 수작업에 의존하며 재현이 어렵고, 범용 데이터 통합 도구는 전기화학 시계열 데이터의 도메인별 의미론을 포착하지 못한다. 우리는 BatteryLake를 제시한다. 이는 에이전틱·물리 기반 큐레이션 프레임워크를 통해 원시 공개 배터리 데이터를 벤치마크 준비 자산으로 변환하는 거버넌스 데이터 레이크하우스로, 세 가지 기여를 제공한다. 첫째, 대규모 언어 모델(LLM) 에이전트가 메타데이터를 추출하고 데이터셋별 변환기를 합성하되, 모든 출력을 원문 증거에 근거하며 이를 뒷받침하는 값이 없을 경우 답변을 보류한다. 둘째, 인간-루프(human-in-the-loop) 메커니즘이 검증을 선택적 예측으로 구성하고, 스키마·통계·물리적 타당성에 관한 26개 규칙을 통해 허용 데이터를 게이팅한다. 셋째, 25개 이상의 기관에서 수집된 41개 데이터셋으로 구성된 공개 벤치마크를 공개하며, 표준화된 SOH 및 RUL 과제, 세 가지 분할 프로토콜, 그리고 여덟 가지 기준선 모델 패밀리를 포함한다. 플랫폼, 벤치마크, 큐레이션 프로토콜은 https://tianwen1209.github.io/batterylake/에서 공개적으로 이용 가능하다.
스케일링 법칙의 한계에 따라 사전학습 데이터 품질 향상이 중요해진 시점에서, UltraX는 삭제·수정에 삽입 연산을 추가해 편집 함수 공간을 완성한 함수 호출 기반 대규모 데이터 정제 프레임워크를 제안한다. 데이터셋 적응형 프롬프트 최적화와 Line Alignment Mapping을 통한 신뢰성 있는 프로그램 지도 생성 파이프라인을 구축하여, 여러 코퍼스에서 기준 모델 대비 상대적 성능 2% 이상 향상 및 더 적은 학습 토큰으로도 동등 이상의 성능을 달성했다.
자연어 데이터의 멱함수 법칙(power-law) 분포가 조합적 추론(compositional reasoning) 학습에 오히려 유리하다는 반직관적 현상을 이론과 실험으로 규명하며, 균등 분포 대비 멱함수 법칙 분포로 학습 시 상태 추적(state tracking) 및 다단계 산술 등의 과제에서 일관되게 우수한 성능을 보임을 입증한다. 멱함수 법칙 샘플링이 유도하는 비대칭성이 손실(loss) 지형의 병목을 해소하여 고빈도 기술 조합을 먼저 습득하게 하고, 이를 발판으로 롱테일 기술까지 효율적으로 학습할 수 있음을 이론적으로 증명한다.
대규모 언어 모델(LLM) 에이전트는 환경 피드백으로부터 장기 의사결정을 개선할 수 있는 사후 학습 방법을 필요로 한다. 그러나 기존의 에이전틱 사후 학습 파이프라인은 데이터 큐레이션을 고정된 전처리 단계로 취급하는 경우가 많으며, 주로 데이터 증강에 초점을 맞추면서 필터링, 정제, 다운스트림 실패에 대한 적응을 소홀히 한다. 우리는 에이전틱 사후 학습 데이터 큐레이션을 위한 실패 기반 동적 진화 프레임워크인 CurateEvo를 제안한다. CurateEvo는 큐레이션 전략을 실행 가능한 코드로 표현하고, 보류된 개발 세트에서 수집한 실패한 궤적을 사용하여 이를 반복적으로 재작성한다. 각 에포크마다 진화된 전략은 고정된 원시 코퍼스를 지도 미세조정 데이터, 강화학습 데이터, 그리고 추론 시간 메모리 뱅크로 변환한다. 진화 과정은 먼저 반복적인 실패 모드를 진단하고 데이터를 증강, 필터링 또는 정제하여 효과성을 향상시키고, 이후 비용 인식 목적 함수 하에서 중복되거나 낮은 유용성의 학습 턴을 가지치기하여 효율성을 개선한다. 레이블된 데이터 및 야생 데이터(wild-data) 설정 모두에서 ACEBench-Agent, BFCL-V4, τ^2-Bench에 대해 수행한 실험 결과, CurateEvo는 기존 큐레이션 방법보다 지속적으로 우수한 성능을 보이며 평균 점수를 각각 3.2점과 2.7점 향상시켰다. 추가 분석을 통해 CurateEvo가 다양한 사후 학습 레시피와 호환되며 큐레이션 오버헤드를 상당히 줄임을 입증한다.
Model capability is the central variable in LLM pre-training, yet is never observed directly: data shapes it prospectively, while evaluation reveals it only retrospectively, compressing samples, prompts, decoding, and scoring rules into one noisy score. Practical optimization runs this backward: a failure is observed first, and the engineer must infer the corpus fix. The two sides speak incompatible vocabularies -- benchmark names and per-sample correctness versus data sources, domains, and quality labels -- so this inference is usually intuition, not method. We close this gap with the \emph{capability slice}: a group of evaluation samples sharing background condition, task type, solving operation, and output constraint -- precise enough to localize a single weakness yet stable enough to survive aggregation, unlike a benchmark name, too coarse, or a single sample, too noisy. Built around this unit, an evaluation taxonomy, a non-instruction data taxonomy, and mapping rules form a closed loop turning a benchmark-level failure into a targeted, testable data intervention. We test this loop on two case studies pulling in opposite directions. First, the loop rules the data out: continued pre-training drives BBH down by $-46.82\%$, but diagnosis traces this to a single masked \texttt{\textless EOS\textgreater} loss rather than weakened reasoning; restoring it recovers BBH to $66.44$, above the original checkpoint, without changing the data. Second, the loop rules the data in: a persistent math-reasoning weakness is decomposed by solving operation into specific failing combinations, and a weakness-targeted sampling procedure built from it lifts AIME2025/AIME2026 Pass@128 from $6.67$/$0.00$ to $26.67$ each. The same unmodified loop reaches opposite, correct verdicts in both cases, showing the evaluation-to-data inference can be routine, auditable, and experimentally validated rather than intuitive.
소규모의 고품질 장문 추론 트레이스 집합에 대한 지도 미세조정(SFT)은 대규모 언어 모델(LLM)에서 강력한 추론 능력을 이끌어내는 효과적인 접근 방식이다. 그러나 고품질 SFT 데이터를 큐레이션하는 기존 방법들은 다양성과 난이도를 기반으로 예제를 필터링하기 위해 강력한 추론 모델에 크게 의존하여 큐레이션 과정이 비용이 많이 들며 종종 최적에 미치지 못하는 데이터 품질을 산출한다. 본 연구에서 우리는 다양하고 도전적인 추론 예제가 초기 추론 토큰만을 사용하여 식별될 수 있음을 보인다. 구체적으로, 사전학습 모델의 무작위로 교란된 체크포인트에서 평가된 첫 100개 추론 토큰의 손실을 기반으로 어려운 문제를 신뢰성 있게 탐지할 수 있음을 입증한다. 나아가, 미세조정 궤적을 따라 외삽된 소수의 교란된 체크포인트에 걸쳐 첫 1k 추론 토큰에서 유사한 손실 패턴을 보이는 예제들이 증명 가능하게 유사한 그래디언트를 유도함을 보인다. 우리는 M23K 의료 추론 및 OpenThoughts-Math 데이터셋에서 Qwen2.5-7B 및 Llama3.1-8B 모델을 미세조정하는 광범위한 실험을 통해 우리의 접근 방식을 검증한다. 우리의 방법은 기존 베이스라인을 최대 1.7% 능가하면서 토큰 효율성은 91% 더 높다.
추론 효율성은 보통 모델 축소로만 다루지만 출력 길이는 그대로 두는 경우가 많고, 간결하고 정확한 사전학습 데이터 큐레이션으로 비전-언어 모델(VLM)이 더 짧게 답하도록 학습시키면 정답당 연산 비용(Cost-of-Pass)을 직접 낮출 수 있다. MAmmoTH-VL 단일 이미지 코퍼스에 이 파이프라인을 적용한 결과, 정확도를 거의 유지하면서(약 1%p 차) 가장 장황한 4B 비교 모델 대비 Cost-of-Pass가 약 35배 낮아졌고, 출력 길이를 맞춘 뒤에도 미큐레이션 기준 대비 정확도가 17.55%p 향상되었다.
Agentic language models dramatically expand the applications of AI yet little is publicly known about how to curate training data for broadly capable agents. Existing open efforts such as SWE-Smith, SERA, and Nemotron-Terminal typically target a single benchmark, leaving open the question of how to train models that generalize across diverse agentic tasks. The OpenThoughts-Agent (OT-Agent) project addresses this gap with a fully open data curation pipeline for training agentic models. We conduct more than 100 controlled ablation experiments to systematically investigate each stage of the pipeline, yielding insights on the importance of task sources and diversity. We then assemble a training set of 100K examples from our pipeline and fine-tune Qwen3-32B on this dataset, which yields an average accuracy of 44.8% across seven agentic benchmarks and a 3.9 percentage point improvement over the strongest existing open data agentic model (Nemotron-Terminal-32B, 40.9%). Moreover, our training data exhibits strong scaling properties, outperforming alternative open datasets at every training set size in compute-controlled comparisons. We publicly release our training sets, data pipeline, experimental data, and models at openthoughts.ai to support future open research on agentic model training.
전문 용어 밀집 의료 도메인 인코더의 마스킹 언어 모델링(MLM) 사전학습을 위해 의료 용어 밀도 필터링과 신호 증폭 재진술(signal-amplifying rephrasing)을 결합한 웹 데이터 큐레이션 레시피를 프랑스어 의료 NLP에 적용했다. 의료 용어 밀도 필터는 교육적 품질 필터를 하위 의료 태스크에서 능가하고 재진술과 필터링 데이터를 혼합하면 가장 큰 이득을 얻으며, FineMed 코퍼스와 DoctoBERT 인코더는 DrBenchmark 및 실제 임상 개체명 인식(NER)에서 최고 수준을 기록했다.
데이터 큐레이션은 대규모 언어 모델(LLM)의 사후 학습 파이프라인에서 핵심적인 부분이지만, 기존 도구들은 대개 수집(ingestion), 중복 제거(deduplication), 합성 생성, 품질 필터링을 별도의 단계로 취급한다. 이러한 분절화는 파이프라인 결정을 감사하거나 개별 샘플이 거부된 이유를 이해하기 어렵게 만든다. CuratorKIT은 단일의 구성 가능한 파이프라인으로 이 전체 수명 주기를 포괄하는 오픈소스 Python 라이브러리이다. 이 프레임워크는 여섯 가지 소스 형식 리더와 자동 스키마 감지, 자격 증명·PII·유해 콘텐츠를 위한 생성 전 데이터 위생 층, 여덟 가지 LLM 기반 생성 작업, 출처 추적(provenance) 기반 정확한 환각(hallucination) 검증을 갖춘 세 가지 보완적 품질 게이트, 구조화된 적응형 복구, TRL·Unsloth·AlignTune과 호환되는 다섯 가지 학습 준비 내보내기 형식으로 구성된다. 모든 파이프라인 결정은 샘플별 부가 전용(append-only) 출처 추적 체인에 기록되며, 거부된 샘플은 조용히 폐기되지 않고 구조화된 실패 사유를 함께 남긴다. CuratorKIT은 LiteLLM을 통해 100개 이상의 LLM 제공자를 지원하며, Python API와 YAML 기반 CLI를 모두 제공하고, 대규모로 재현 가능하고 감사 가능한 데이터 파이프라인이 필요한 실무자를 위해 설계되었다.
현대 언어 모델의 성능은 사전학습 데이터 구성에 크게 좌우됩니다. 그러나 기존 데이터 선택 방법은 문서 점수 매기기나 혼합 최적화를 위해 보조 분류기에 의존하여, 계산 오버헤드와 레이블된 데이터에 대한 의존성을 증가시킵니다. 우리는 Common Crawl 호스트 수준 웹 그래프에 대한 구조적 중심성 점수를 계산하고, 이를 사용하여 사전학습 혼합 데이터 내 중심부 문서와 주변부 문서의 비율을 조절하는 경량 데이터 선택 프레임워크인 WebGraphMix를 제안합니다. 우리는 중심부 호스트가 모델에 재사용 가능한 추상화를 제공하는 반면, 주변부 호스트는 전문화된 롱테일 지식을 인코딩한다고 가정합니다. WebGraphMix는 모델 학습, 레이블된 데이터, 또는 다운스트림 감독 없이 웹 규모에서 중심성 점수를 효율적으로 계산합니다. 우리는 WebGraphMix를 DataComp-LM 파이프라인에 통합하고 각각 80억(8B) 및 280억(28B) 토큰으로 4억(400M) 및 10억(1B) 매개변수 규모의 모델을 학습시켜, 사실적 지식부터 기호적 추론에 이르는 23개 작업에서 평가했습니다. 실험 결과, 중심부 및 주변부 웹 영역은 상호 보완적인 능력을 인코딩함을 보여줍니다. 둘을 1:1 비율로 결합한 혼합 데이터는 평균 41.4%를 달성하여, 균일 샘플링(uniform sampling)의 39.8%보다 높은 성능을 보였습니다. 구조적 점수에 문서 수준 품질 분류기 점수를 결합하면 성능이 43.8%로 더욱 향상됩니다. 이러한 발견은 웹 그래프 토폴로지(topology)가 사전학습 데이터 큐레이션(curation)을 위한 의미 있는 축이며, 기존 콘텐츠 기반 접근 방식과 대체로 직교하는 정보를 포착함을 입증합니다.