분포 최적화 합성을 통한 LLM 지식 경계 확장
Scaling LLM Knowledge Boundaries via Distribution-Optimized Synthesis
기존 합성 데이터 기반 지식 주입은 사전 설정 토큰 수나 고정 비율에만 의존해 도메인별 지식 분포 불균형으로 LLM 지식 경계 확장이 제한된다. KDoS는 지식 밀도와 3단계 피드백으로 목표 분포에 맞게 합성을 조절하며, 0.6B~16B 규모 모델과 1B~5B 토큰 데이터에서 최적 분포가 경계 확장을 일관되게 극대화하고 여섯 가지 지식 벤치마크에서 베이스라인을 능가한다.