PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.24956v3cs.CL

NITP: Next Implicit Token Prediction for LLM Pre-training

표준 다음 토큰 예측(NTP)이 은닉 표현 공간을 충분히 제약하지 못해 표현 퇴화(representation degeneration) 현상을 유발한다는 문제를 지적하며, 이를 해결하기 위해 동일 모델의 얕은 레이어 표현을 자기지도(self-supervised) 타깃으로 활용해 잠재 공간에서 연속적 밀도 감독을 추가하는 NITP(Next Implicit Token Prediction)를 제안한다. 0.5B~9B 규모의 dense 및 전문가 혼합(MoE) 모델에서 약 2%의 추가 학습 FLOPs만으로 MMLU-Pro 5.7%, C3 6.4%, CommonsenseQA 4.3%의 성능 향상을 달성하며, 추론 비용은 전혀 증가하지 않는다.

arXiv:2606.26749v1cs.LG

붕괴 이전의 구조: 다음 토큰 예측에서의 일시적 의미적 기하 구조

Structure Before Collapse: Transient semantic geometry in next-token prediction

원-핫 다음 토큰 예측에서도 잠재 의미 요인을 반영한 표현이 학습 초기에 창발하지만, 뉴럴 콜랩스(Neural Collapse)가 예측하는 레이블 기반 대칭 분리와 충돌하는 문제를 세 가지 합성 제어 설정으로 검증했다. 의미적 기하 구조는 명시적 감독 없이 공유 속성별로 군집화되나 충분한 용량과 학습 시간 뒤 소실되는 일시적 상전이이며, 그람 행렬(Gram matrix) 분석으로 이를 추적하고 비제약 특징 모델의 예비적 수정을 제안한다.