NITP: Next Implicit Token Prediction for LLM Pre-training
표준 다음 토큰 예측(NTP)이 은닉 표현 공간을 충분히 제약하지 못해 표현 퇴화(representation degeneration) 현상을 유발한다는 문제를 지적하며, 이를 해결하기 위해 동일 모델의 얕은 레이어 표현을 자기지도(self-supervised) 타깃으로 활용해 잠재 공간에서 연속적 밀도 감독을 추가하는 NITP(Next Implicit Token Prediction)를 제안한다. 0.5B~9B 규모의 dense 및 전문가 혼합(MoE) 모델에서 약 2%의 추가 학습 FLOPs만으로 MMLU-Pro 5.7%, C3 6.4%, CommonsenseQA 4.3%의 성능 향상을 달성하며, 추론 비용은 전혀 증가하지 않는다.