No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training
GaLore 등 저메모리 최적화기들이 가정하는 "천천히 이동하는 그래디언트 서브스페이스"가 실제로는 식별 불가능한(non-identifiable) 추정 노이즈임을 실험적·이론적으로 증명하며, 128개 방향 중 재현 가능한 핵심은 약 39개에 불과하고 평균화로도 이 문제를 해결할 수 없음을 보인다. 대신 서브스페이스 갱신 시 Adam의 옵티마이저 상태를 회전 행렬 R을 통해 전이(transport)하는 LDAdam 방식이 Pythia-1B 기준 GaLore(19.3)보다 낮은 18.7 퍼플렉시티를 달성함을 검증한다.