붕괴 이전의 구조: 다음 토큰 예측에서의 일시적 의미적 기하 구조
Structure Before Collapse: Transient semantic geometry in next-token prediction
원-핫 다음 토큰 예측에서도 잠재 의미 요인을 반영한 표현이 학습 초기에 창발하지만, 뉴럴 콜랩스(Neural Collapse)가 예측하는 레이블 기반 대칭 분리와 충돌하는 문제를 세 가지 합성 제어 설정으로 검증했다. 의미적 기하 구조는 명시적 감독 없이 공유 속성별로 군집화되나 충분한 용량과 학습 시간 뒤 소실되는 일시적 상전이이며, 그람 행렬(Gram matrix) 분석으로 이를 추적하고 비제약 특징 모델의 예비적 수정을 제안한다.