서로 다른 층, 서로 다른 다양체: 트랜스포머 최적화에서의 모듈별 가중치 공간 기하학
Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization
GPT-2 사전학습 과정에서 어텐션 레이어에는 Stiefel 기하학을, MLP 레이어에는 DGram 기하학을 적용하는 모듈별 가중치 공간 제약 방식이 균일한 적용보다 우수한 성능을 보인다. 반면 다른 구성은 특이값 성장으로 인한 소프트맥스 포화 현상으로 인해 불안정성을 겪는다.