PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22769v1cs.LG

DomainPilot: 효율적인 언어 모델 미세조정을 위한 도메인 수준 손실 기반 2단계 데이터 혼합 최적화

DomainPilot: Domain-Level Loss-Guided Two-Stage Data Mixture Optimization for Efficient Language Model Fine-Tuning

대규모 언어 모델(LLM)의 학습 효과는 근본적으로 학습 데이터의 품질과 구성에 의해 제한된다. 기존 동적 데이터 스케줄링 방법은 산업 규모의 사전학습 및 지도 미세조정(SFT)에서 중요한 한계에 직면한다: 데이터 선택은 테라바이트급 코퍼스에서 감당하기 어려운 O(N) 비용을 발생시키고, 혼합 최적화 방식은 심각한 I/O 병목을 유발하거나 보조 참조 모델의 학습을 요구하며, 샘플 수준 재가중 전략은 노이즈, 난이도, 신규성을 혼동하는 손실 신호에 의존한다. 본 논문은 도메인 수준 손실 기반 2단계 데이터 혼합 최적화 프레임워크인 DomainPilot을 제안한다. DomainPilot은 데이터 파이프라인을 중단하지 않고 학습 중 도메인별 학습 역학을 포착하기 위해 토큰 수준 도메인 손실 모니터링을 도입한다. 이러한 신호를 바탕으로, 도메인별 수렴 곡선을 적합하고 혼합 조정을 위한 원칙적 사전 분포를 도출하는 Scaling Law 기반 거친(coarse) 최적화 단계를 제안한다. 이후 Mixing Law 기반 정밀(fine) 최적화 단계에서는 통제된 스윕(sweep) 실험을 통해 도메인 간 상호작용 효과를 모델링하여 혼합을 정제한다. 전체 메커니즘은 패치 기반 아키텍처를 통해 구현되며, 기존 학습 프레임워크(예: MindSpeed/Megatron-LM)에 도메인 인식 손실 계산을 주입하며, 프레임워크별 어댑터 코드는 약 30줄에 불과하다. DomainPilot을 Qwen3-1.7B 모델의 SFT 과정에서 검증하였다. 기존 데이터 혼합과 비교할 때, 최적화된 혼합은 총 데이터량이나 학습 비용을 늘리지 않으면서 MMLU-Redux에서 +2%, AIME24에서 +1.8%, LiveCodeBench v5에서 +3.8%, BFCL v3에서 +3.6%의 향상을 달성한다. 이러한 결과는 도메인 수준 학습 신호가 혼합 최적화를 위해 값비싼 데이터 선택이나 보조 모델 학습에 대한 효과적이고 경량의 대안을 제공함을 보여준다.

arXiv:2606.18663v1cs.CL

RegMix-D: 프록시 학습 궤적을 통한 동적 데이터 혼합

RegMix-D: Dynamic Data Mixing via Proxy Training Trajectories

RegMix-D는 소규모 프록시 실행의 전체 손실 궤적에 회귀 모델을 학습해 학습 단계별 최적 데이터 혼합을 예측하는 RegMix의 동적 혼합 확장으로, 오프라인 스케줄 생성과 학습 중 적응형 온라인 모드를 지원한다. Pile 데이터셋 250억 토큰·10억 매개변수 모델 실험에서 13개 다운스트림 작업 전반에 걸쳐 RegMix와 DoReMi보다 일관되게 성능을 높였으며, 프록시 모델 128개( RegMix 예산의 25%)만으로도 RegMix를 능가했다.