RegMix-D: 프록시 학습 궤적을 통한 동적 데이터 혼합
RegMix-D: Dynamic Data Mixing via Proxy Training Trajectories
RegMix-D는 소규모 프록시 실행의 전체 손실 궤적에 회귀 모델을 학습해 학습 단계별 최적 데이터 혼합을 예측하는 RegMix의 동적 혼합 확장으로, 오프라인 스케줄 생성과 학습 중 적응형 온라인 모드를 지원한다. Pile 데이터셋 250억 토큰·10억 매개변수 모델 실험에서 13개 다운스트림 작업 전반에 걸쳐 RegMix와 DoReMi보다 일관되게 성능을 높였으며, 프록시 모델 128개( RegMix 예산의 25%)만으로도 RegMix를 능가했다.