대규모 언어 모델(LLM)의 학습 효과는 근본적으로 학습 데이터의 품질과 구성에 의해 제한된다. 기존 동적 데이터 스케줄링 방법은 산업 규모의 사전학습 및 지도 미세조정(SFT)에서 중요한 한계에 직면한다: 데이터 선택은 테라바이트급 코퍼스에서 감당하기 어려운 O(N) 비용을 발생시키고, 혼합 최적화 방식은 심각한 I/O 병목을 유발하거나 보조 참조 모델의 학습을 요구하며, 샘플 수준 재가중 전략은 노이즈, 난이도, 신규성을 혼동하는 손실 신호에 의존한다. 본 논문은 도메인 수준 손실 기반 2단계 데이터 혼합 최적화 프레임워크인 DomainPilot을 제안한다. DomainPilot은 데이터 파이프라인을 중단하지 않고 학습 중 도메인별 학습 역학을 포착하기 위해 토큰 수준 도메인 손실 모니터링을 도입한다. 이러한 신호를 바탕으로, 도메인별 수렴 곡선을 적합하고 혼합 조정을 위한 원칙적 사전 분포를 도출하는 Scaling Law 기반 거친(coarse) 최적화 단계를 제안한다. 이후 Mixing Law 기반 정밀(fine) 최적화 단계에서는 통제된 스윕(sweep) 실험을 통해 도메인 간 상호작용 효과를 모델링하여 혼합을 정제한다. 전체 메커니즘은 패치 기반 아키텍처를 통해 구현되며, 기존 학습 프레임워크(예: MindSpeed/Megatron-LM)에 도메인 인식 손실 계산을 주입하며, 프레임워크별 어댑터 코드는 약 30줄에 불과하다. DomainPilot을 Qwen3-1.7B 모델의 SFT 과정에서 검증하였다. 기존 데이터 혼합과 비교할 때, 최적화된 혼합은 총 데이터량이나 학습 비용을 늘리지 않으면서 MMLU-Redux에서 +2%, AIME24에서 +1.8%, LiveCodeBench v5에서 +3.8%, BFCL v3에서 +3.6%의 향상을 달성한다. 이러한 결과는 도메인 수준 학습 신호가 혼합 최적화를 위해 값비싼 데이터 선택이나 보조 모델 학습에 대한 효과적이고 경량의 대안을 제공함을 보여준다.
Machine learning progress is often attributed to scaling model size and dataset volume, yet the composition of data can be just as consequential. Empirical findings repeatedly show that combining datasets from different domains yields nontrivial interactions. For instance, adding code improves mathematical reasoning, while certain mixtures introduce interference that reduces model performance. We refer to these effects collectively as data synergy, where the contribution of multiple domains exceeds or falls short of the sum of their isolated contributions. In this work, we formalize and quantify data synergy in language model pretraining. Leveraging observational variation across open-weight LLMs with diverse pretraining mixtures, we estimate both direct domain-to-benchmark synergy (how one domain contributes to performance on another) and a second-order domain-domain synergy (capabilities that require co-occurrence of multiple domains). Our framework improves predictive accuracy over domain-agnostic scaling laws and recovers stable synergy estimates. We validate these estimates by training models on predicted optimal and predicted anti-optimal mixtures and confirm that our synergy estimates correctly predict performance rankings.
HERMES는 사전학습 데이터 혼합을 위한 계층적 레이블링 기반 시스템으로, Learned Semantic Transform과 3단계 잔차 벡터 양자화(RVQ)를 결합해 각 문서를 세밀도(granularity)를 프리픽스 길이로 조절 가능한 계층적 코드로 한 번에 주석 처리한다. 1B 파라미터, 25B 토큰 사전학습 실험에서 고정된 세밀도 파이프라인으로는 발견할 수 없는 세밀도-샘플러 간 상호작용을 포착하여, 최적 설정에서 16개 태스크 능력 평균을 +0.0253 향상시켰다.
데이터 혼합 최적화를 인과추론(causal inference) 문제로 재정의한 CausalMix를 제안하며, 데이터 풀의 통계적 특성을 공변량(covariate), 도메인 혼합 비율을 처치(treatment)로 모델링해 Double Machine Learning과 인과 포레스트(causal forest)로 조건부 평균 처치 효과(CATE)를 추정한다. Qwen2.5-0.5B의 512회 프록시 실험으로 학습된 인과 모델을 7B 모델 및 Qwen3-4B-Base의 Chain-of-Thought 데이터에 외삽 적용한 결과, RegMix 등 기존 베이스라인 대비 다수의 다운스트림 태스크에서 일관된 성능 향상을 달성했다.
RegMix-D는 소규모 프록시 실행의 전체 손실 궤적에 회귀 모델을 학습해 학습 단계별 최적 데이터 혼합을 예측하는 RegMix의 동적 혼합 확장으로, 오프라인 스케줄 생성과 학습 중 적응형 온라인 모드를 지원한다. Pile 데이터셋 250억 토큰·10억 매개변수 모델 실험에서 13개 다운스트림 작업 전반에 걸쳐 RegMix와 DoReMi보다 일관되게 성능을 높였으며, 프록시 모델 128개( RegMix 예산의 25%)만으로도 RegMix를 능가했다.