Token Geometry
임베딩 테이블과 LM-head의 그래디언트 기하학이 일반 밀집 가중치와 다르다는 점에 착안하여, Fisher 정보 행렬을 기반으로 $\mathcal{O}(V+D)$ VRAM만 사용하는 경량 최적화기 Ember를 제안한다. Ember는 Adam 대비 메모리를 대폭 절감하면서도 지도 파인튜닝, 강화학습, 사전학습 전반에서 동등하거나 더 나은 성능을 달성하며, 토큰의 최적화 궤적이 1D 직선으로 근사될 수 있음을 실증적으로 보인다.